Многопоточный HTTP Downloader

Я ищу инструмент командной строки, который может загрузить несколько URL с несколькими потоками, например

wget2 -n 5 http://stackoverflow.com/ http://askubuntu.com/ http://bobo.com/

Где -n = number of threads. Я сталкивался с Акселем, но когда я даю ему несколько URL-адресов, он загружает только один.

Я буду загружать файлы HTML.

3
задан 27 November 2013 в 17:36

2 ответа

Aria2 - лучшее решение для этого, если вы хотите CLI. Aria2 поддерживает несколько соединений, несколько потоков и несколько источников.

Еще одним преимуществом Aria2 является то, что он работает как плагин для uGet, поэтому вы можете использовать возможности Aria2 с приятным и простым в использовании графическим интерфейсом.

Aria2 - CLI - http://aria2.sourceforge.net/

  • по умолчанию, Aria2 делает 5 подключений, но может быть отрегулирован параметром "-j" .
  • aria2c -j 10 http://url.com/path/to/file.ext

uGet - GUI - http://ugetdm.com

  • Несколько подключений настраиваются в графическом интерфейсе при добавлении загрузки.

Обновление: в зависимости от потребностей OP в пакетах

uGet поддерживает пакетные загрузки через .txt, .html , буфер обмена и многие другие методы. Хотя по общему признанию не CLI, я думаю, что это решает проблему довольно хорошо. Я создал видеоурок , чтобы объяснить различные методы, GUI изменился со времени этой записи, но функциональность все еще актуальна.

0
ответ дан 27 November 2013 в 17:36

Все вышеперечисленные и связанные предложения не берут два уникальных URL. Они берут только те URL-адреса, которые являются зеркалами одного и того же файла.

Я нашел несколько программ, которые делают это:

Лучше всего это puf (apt-get install puf), использовать puf url1 url2 и т. Д.

Тогда есть HTTRACK, который требует много поворотов и имеет некоторые ограничения, которые я не могу преодолеть (ограничения скорости и соединения)

DownThemAll для Firefox очень хорош, если вам не нужна команда линия приложения.

ОБНОВЛЕНИЕ

С тех пор я обнаружил, что puf имеет тенденцию к краху. Лучшее решение - создать файл .txt с URL-адресами в новых строках, например

.
http://google.com/
http://yahoo.com/

Сохраните, например, urls.txt (например), затем выполните команду:

cat urls.txt | xargs -n 1 -P 10 wget -q

-n указывает на выбор каждой строки из файла

-p указывает количество URL-адресов, которые вы хотели бы загрузить параллельно.

0
ответ дан 27 November 2013 в 17:36

Другие вопросы по тегам:

Похожие вопросы: