На этот вопрос уже есть ответ:
Я хотел бы загрузить файл данных размером 227 ГБ здесь , но сейчас на это у меня уходит около 20-24 часов. Торрент-протокол отлично подходит для задачи и / или параллельного процесса загрузки, но хост ограничивает количество подключений одним (1). Предложения
Можете ли вы подделать хост и выполнить многопоточную задачу с помощью wget
здесь? ...Думаю, нелегко ...
Псевдокод, в котором, как мне кажется, отключение каталогов и отключение каталогов хоста имеет смысл; отключение роботов; взяв только файл .bin; говорят, что мой браузер mozilla ; загрузка в каталог / tmp /
; количество потоков 150
wget -n 150 -nd -nH -e robots = off -A ".bin" -U mozilla \
-P / tmp / http: //horatio.cs.nyu .edu / mit / tiny / data / tiny_images.bin
исключить proxilla
, так как не в apt-get
Характеристики
Аксель не работает даже с 1-16 соединениями, где также требуется индикатор выполнения ( -a
)
# http://www.cyberciti.biz/tips/download-accelerator-for-linux-command-line-tools.html
axel -a -n 1 -s 16 http://horatio.cs.nyu.edu/mit/tiny/data/tiny_images.bin
Initializing download: http://horatio.cs.nyu.edu/mit/tiny/data/tiny_images.bin
File size: 243615796224 bytes
Opening output file tiny_images.bin
Error opening local file
Хост вызывает сбой даже с 2-16 количеством подключений; -c
разрешает продолжение загрузки, если она прерывается, -x 10
и -s 10
разрешают до 10 соединений на сервер
# http: / /askubuntu.com/a/507890/25388
aria2c -c -x10 -s10 http://horatio.cs.nyu.edu/mit/tiny/data/tiny_images.bin
{{ 1}} 17.08 21:27:25 [ERROR] CUID # 6 - Загрузка прервана. URI = http: //horatio.cs.nyu.edu/mit/tiny/data/tiny_images.bin
Исключение: [AbstractCommand.cc:398] errorCode = 16 URI = http: //horatio.cs. nyu.edu/mit/tiny/data/tiny_images.bin
-> [RequestGroup.cc:714] errorCode = 16 Загрузка прервана.
-> [AbstractDiskWriter.cc:222] errNum = 13 errorCode = 16 Не удалось открыть файл /media/masi/SamiSwapVirtual/tiny_images.bin, причина: отказано в разрешении
17.08 21:27:25 [УВЕДОМЛЕНИЕ] Загрузка GID # 1e5701ee3b4d44f4 не завершена: /media/masi/SamiSwapVirtual/tiny_images.bin
Результаты загрузки:
gid | stat | средняя скорость | путь / URI
====== + ==== + =========== + =============== ========================================
1e5701 | ERR | 0B / s | /media/masi/SamiSwapVirtual/tiny_images.bin
Условные обозначения:
(ERR): произошла ошибка.
aria2 возобновит загрузку, если передача будет перезапущена.
Если есть какие-либо ошибки, просмотрите файл журнала. Подробнее см. Параметр '-l' на странице справки / руководства.
Ubuntu: 16.04, 64-разрядная версия
LTE-маршрутизатор: TP-link MR220 с последней прошивкой
{ {1}} Подключение LTE: 30/20 МБ для загрузки / выгрузки
Загрузка жесткого диска: 2 ТБ ext4 Transcend
К сожалению, то, что Вы спрашиваете, в значительной степени невозможно. Вы не можете вынудить сервер позволить многочисленные связи.
, Если бы они ограничивают количество соединений на основе IP затем, необходимо было бы отправить другой IP за каждым соединением. В той точке Вам была бы нужна программа, которая может объединить несколько частей того же файла от различных компьютеров с частями, созданными на лету. Это должно быть технически возможно, но конечно не практично, потому что необходимо было бы найти такую программу и к моему знанию, такая программа не существует.
<час>существует только 2 варианта, я могу думать:
После этих слов я протестировал загрузку сам, и она обеспечивает скорость абсолютного максимума, которую мой интернет-план может обработать только с одним соединением.
у меня есть соединение на 60 Мбит, таким образом, я могу загрузить файлы в между 5.5 Мбит/с - 7.5 Мбит/с (мегабайты в секунду). Эта загрузка с Нью-Йоркского университета предложила 7.2 Мбит/с, который полностью разумен и больше, чем моя средняя максимальная скорость 6.5 Мбит/с. Это означает, что загрузка на моей скорости заняла бы приблизительно 10 часов.
я подозреваю, что у Вас есть соединение на 30 Мбит, заканчивающееся во вдвое большее количество времени, таким образом, это - моя оценка, что узкое место находится на Вашем конце, не Нью-Йоркском университете.