У меня есть список url (около 50k) изображений в текстовом файле, которые я хочу скачать.
Могу ли я скачать его асинхронным способом, используя команду wget или любым другим способом, читая его из текстового файла.
Что-то как следующее выполнило бы Вашу цель, при этом 'тестирование' было бы текстовыми файлами со списком изображений URL:
cat testing | xargs -n 1 -P 8 wget -q
Работы красиво над моей системой! Можно управлять -P
опция, как страницы справочника описывают:
-P max-procs
Run up to max-procs processes at a time; the default is 1. If max-procs is 0,
xargs will run as many processes as possible at a time. Use the -n option
with -P; otherwise chances are that only one exec will be done.
Ссылки: