скачивает файл параллельно [duplicate]

У меня есть список url (около 50k) изображений в текстовом файле, которые я хочу скачать.

Могу ли я скачать его асинхронным способом, используя команду wget или любым другим способом, читая его из текстового файла.

1
задан 29 April 2016 в 13:50

1 ответ

Что-то как следующее выполнило бы Вашу цель, при этом 'тестирование' было бы текстовыми файлами со списком изображений URL:

cat testing | xargs -n 1 -P 8 wget -q

Работы красиво над моей системой! Можно управлять -P опция, как страницы справочника описывают:

-P max-procs
  Run up to max-procs processes at a time; the default is 1.  If max-procs is 0,
  xargs  will  run  as  many processes as possible at a time.  Use the -n option
  with -P; otherwise chances are that only one exec will be done.

Ссылки:

0
ответ дан 29 April 2016 в 23:50
  • 1
    Вы don' t должен нажать Enter конкретно - клавиша "Пробел" сделала бы также. – muru 4 October 2017 в 15:06

Другие вопросы по тегам:

Похожие вопросы: