Как подделать хост и многопоточную загрузку одного файла? [дубликат]

На этот вопрос уже есть ответ:

Я хотел бы загрузить файл данных размером 227 ГБ здесь , но сейчас на это у меня уходит около 20-24 часов. Торрент-протокол отлично подходит для задачи и / или параллельного процесса загрузки, но хост ограничивает количество подключений одним (1). Предложения

  • Можете ли вы подделать хост и выполнить многопоточную задачу с помощью wget здесь? ...Думаю, нелегко ... Псевдокод, в котором, как мне кажется, отключение каталогов и отключение каталогов хоста имеет смысл; отключение роботов; взяв только файл .bin; говорят, что мой браузер mozilla ; загрузка в каталог / tmp / ; количество потоков 150

     wget -n 150 -nd -nH -e robots = off -A ".bin" -U mozilla \ 
     -P / tmp / http: //horatio.cs.nyu .edu / mit / tiny / data / tiny_images.bin 
     
  • исключить proxilla , так как не в apt-get

Характеристики

  • Хост ограничивает количество подключений одним ( 1).
  • Я установил 150 подключений в акселе, потому что моя максимальная скорость загрузки составляет 30 МБ, поэтому должна быть скорость загрузки 15 МБ / с (= 0,1 МБ / с * 150), но теперь расчетное время в начале составляет 21 час.
  • Попытка VPN: только если хост начинает заносить пользователя в черный список.

Исключить аксель из задачи

Аксель не работает даже с 1-16 соединениями, где также требуется индикатор выполнения ( -a )

# http://www.cyberciti.biz/tips/download-accelerator-for-linux-command-line-tools.html
axel -a -n 1 -s 16 http://horatio.cs.nyu.edu/mit/tiny/data/tiny_images.bin
Initializing download: http://horatio.cs.nyu.edu/mit/tiny/data/tiny_images.bin
File size: 243615796224 bytes
Opening output file tiny_images.bin
Error opening local file

Исключить aria2c из задачи

  • Хост вызывает сбой даже с 2-16 количеством подключений; -c разрешает продолжение загрузки, если она прерывается, -x 10 и -s 10 разрешают до 10 соединений на сервер

     # http: / /askubuntu.com/a/507890/25388
    aria2c -c -x10 -s10 http://horatio.cs.nyu.edu/mit/tiny/data/tiny_images.bin 
     {{ 1}} 17.08 21:27:25 [ERROR] CUID # 6 - Загрузка прервана. URI = http: //horatio.cs.nyu.edu/mit/tiny/data/tiny_images.bin 
    Исключение: [AbstractCommand.cc:398] errorCode = 16 URI = http: //horatio.cs. nyu.edu/mit/tiny/data/tiny_images.bin
     -> [RequestGroup.cc:714] errorCode = 16 Загрузка прервана.
     -> [AbstractDiskWriter.cc:222] errNum = 13 errorCode = 16 Не удалось открыть файл /media/masi/SamiSwapVirtual/tiny_images.bin, причина: отказано в разрешении 
     
    17.08 21:27:25 [УВЕДОМЛЕНИЕ] Загрузка GID # 1e5701ee3b4d44f4 не завершена: /media/masi/SamiSwapVirtual/tiny_images.bin
    Результаты загрузки: 
    gid | stat | средняя скорость | путь / URI 
     ====== + ==== + =========== + =============== ======================================== 
    1e5701 | ERR | 0B / s | /media/masi/SamiSwapVirtual/tiny_images.bin 
     
    Условные обозначения: 
     (ERR): произошла ошибка. 
     
    aria2 возобновит загрузку, если передача будет перезапущена. 
    Если есть какие-либо ошибки, просмотрите файл журнала. Подробнее см. Параметр '-l' на странице справки / руководства. 
     

Ubuntu: 16.04, 64-разрядная версия
LTE-маршрутизатор: TP-link MR220 с последней прошивкой
{ {1}} Подключение LTE: 30/20 МБ для загрузки / выгрузки
Загрузка жесткого диска: 2 ТБ ext4 Transcend

​​
0
задан 30 August 2016 в 00:48

1 ответ

К сожалению, то, что Вы спрашиваете, в значительной степени невозможно. Вы не можете вынудить сервер позволить многочисленные связи.

, Если бы они ограничивают количество соединений на основе IP затем, необходимо было бы отправить другой IP за каждым соединением. В той точке Вам была бы нужна программа, которая может объединить несколько частей того же файла от различных компьютеров с частями, созданными на лету. Это должно быть технически возможно, но конечно не практично, потому что необходимо было бы найти такую программу и к моему знанию, такая программа не существует.

<час>

существует только 2 варианта, я могу думать:

  1. Загрузка с позволенным уровнем.
  2. Трансзагрузка файл с того сервера на другой сервер и затем загружают с того сервера.
    • это - самая быстрая опция, но использует существующий сервер в центре обработки данных предпочтительно.
    • это не практическая опция для большинства людей.
<час>

После этих слов я протестировал загрузку сам, и она обеспечивает скорость абсолютного максимума, которую мой интернет-план может обработать только с одним соединением.

у меня есть соединение на 60 Мбит, таким образом, я могу загрузить файлы в между 5.5 Мбит/с - 7.5 Мбит/с (мегабайты в секунду). Эта загрузка с Нью-Йоркского университета предложила 7.2 Мбит/с, который полностью разумен и больше, чем моя средняя максимальная скорость 6.5 Мбит/с. Это означает, что загрузка на моей скорости заняла бы приблизительно 10 часов.

я подозреваю, что у Вас есть соединение на 30 Мбит, заканчивающееся во вдвое большее количество времени, таким образом, это - моя оценка, что узкое место находится на Вашем конце, не Нью-Йоркском университете.

1
ответ дан 28 September 2019 в 16:40

Другие вопросы по тегам:

Похожие вопросы: