Я ищу инструмент командной строки, который может загрузить несколько URL с несколькими потоками, например
wget2 -n 5 http://stackoverflow.com/ http://askubuntu.com/ http://bobo.com/
Где -n = number of threads
. Я сталкивался с Акселем, но когда я даю ему несколько URL-адресов, он загружает только один.
Я буду загружать файлы HTML.
Aria2 - лучшее решение для этого, если вы хотите CLI. Aria2 поддерживает несколько соединений, несколько потоков и несколько источников.
Еще одним преимуществом Aria2 является то, что он работает как плагин для uGet, поэтому вы можете использовать возможности Aria2 с приятным и простым в использовании графическим интерфейсом.
Aria2 - CLI - http://aria2.sourceforge.net/
uGet - GUI - http://ugetdm.com
Обновление: в зависимости от потребностей OP в пакетах
uGet поддерживает пакетные загрузки через .txt, .html , буфер обмена и многие другие методы. Хотя по общему признанию не CLI, я думаю, что это решает проблему довольно хорошо. Я создал видеоурок , чтобы объяснить различные методы, GUI изменился со времени этой записи, но функциональность все еще актуальна.
Все вышеперечисленные и связанные предложения не берут два уникальных URL. Они берут только те URL-адреса, которые являются зеркалами одного и того же файла.
Я нашел несколько программ, которые делают это:
Лучше всего это puf (apt-get install puf), использовать puf url1 url2 и т. Д.
Тогда есть HTTRACK, который требует много поворотов и имеет некоторые ограничения, которые я не могу преодолеть (ограничения скорости и соединения)
DownThemAll для Firefox очень хорош, если вам не нужна команда линия приложения.
ОБНОВЛЕНИЕ
С тех пор я обнаружил, что puf имеет тенденцию к краху. Лучшее решение - создать файл .txt с URL-адресами в новых строках, например
.http://google.com/
http://yahoo.com/
Сохраните, например, urls.txt (например), затем выполните команду:
cat urls.txt | xargs -n 1 -P 10 wget -q
-n указывает на выбор каждой строки из файла
-p указывает количество URL-адресов, которые вы хотели бы загрузить параллельно.