создание многопроцессного загрузчика Axel
Могу ли я запустить несколько процессов параллельно акселя, чтобы загрузить один и тот же файл? Каждый раз, когда я запускаю новый процесс:
axel -a -n 10 http://image-net.org/image/ILSVRC2017/ILS VRC2017_DET.tar.gz
я получаю уведомление:
Initializing download: http://image-net.org/image/ILSVRC2017/ILSVRC2017_DET.tar. gz
File size: 60855983982 bytes
Opening output file ILSVRC2017_DET.tar.gz.0
State file found: 5103495158 bytes downloaded, 55752488824 to go.
Starting download
Затем все мои параллельные процессы показывают одинаковые загруженные% в строке состояния.
axel -a -n 10 http://image-net.org/image/ILSVRC2017/ILSVRC2017_DET.tar.gz
[ 9%] [0 1 2 3 4 5 6 7 8 9 ] [ 2,5MB/s] [ 5h57]
только скорость и оставшееся время отличаются от
Когда я работаю в многопроцессорном режиме, у меня всего 10 Мбит / с, иначе 2 Мбит / с только для процесса.
1 ответ
Согласно странице справочника, axel будет использовать многочисленные связи отдельно, нет никакой потребности выполнить его многократно.
Загрузка в качестве примера с помощью 4 соединений:
axel -a -n 4 http://mirror.switch.ch/ftp/ubuntu-cdimage/18.04/ubuntu-18.04-desktop-amd64.iso
Initializing download: http://mirror.switch.ch/ftp/ubuntu-cdimage/18.04/ubuntu-18.04-desktop-amd64.iso
File size: 1921843200 bytes
Opening output file ubuntu-18.04-desktop-amd64.iso.0
Starting download
[ 30%] [....0 .....1 .....2 ....3 ] [ 11.1MB/s] [01:54]^C
....N шоу ясно, что это использует 4 соединения
Загрузка в качестве примера с помощью 6 соединений:
axel -a -n 6 http://mirror.switch.ch/ftp/ubuntu-cdimage/18.04/ubuntu-18.04-desktop-amd64.iso
Initializing download: http://mirror.switch.ch/ftp/ubuntu-cdimage/18.04/ubuntu-18.04-desktop-amd64.iso
File size: 1921843200 bytes
Opening output file ubuntu-18.04-desktop-amd64.iso.0
State file found: 583252805 bytes downloaded, 1338590395 to go.
Starting download
[ 32%] [....0 .....1 .....2 ....3 ] [ 9.9MB/s] [02:04]
Существует все еще 4 соединения! Это кажется этим axel снова использует частичную загрузку, но продолжит использовать то же количество соединений.
Загрузка в качестве примера с помощью 6 соединений (после стирания временных файлов):
rm ubuntu-18.04-desktop-amd64.iso*
axel -a -n 6 http://mirror.switch.ch/ftp/ubuntu-cdimage/18.04/ubuntu-18.04-desktop-amd64.iso Initializing download: http://mirror.switch.ch/ftp/ubuntu-cdimage/18.04/ubuntu-18.04-desktop-amd64.iso File size: 1921843200 bytes Opening output file ubuntu-18.04-desktop-amd64.iso Starting download
[ 2%] [0 1 2 3 4 5 ] [ 11.1MB/s] [02:40]
Теперь мы видим axel использование 6 соединений.
Обратите внимание на то, что скорость загрузки не может быть уменьшена из-за количества соединения, и в этом случае Вы только продвинете больше загрузки в сеть и в удаленный хост.