wget, застрявший посреди зеркального отражения веб-страницы
Я зеркально отражал веб-сайт со следующей командой:
wget -m -nc -p -E -k -np -e robots=off https://www.somesite.com/ & disown
И все продолжалось хорошо, пока я не видел, что это застряло в
Reusing existing connection to www.somesite.com:443.
и я закрыл это tty.
Что я должен сделать, чтобы заставить его продолжиться?
Вот часть вывода wget:
www.somesite.com/.../sport.html [ <=> ] 833.32K 1.53MB/s in 0.5s
Last-modified header missing -- time-stamps turned off.
2018-02-10 16:34:23 (1.53 MB/s) - ‘www.somesite.com/.../sport.html’ saved [853319]
--2018-02-10 16:34:23-- http://www.somesite.com/.../social
Reusing existing connection to www.somesite.com:80.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Saving to: ‘www.somesite.com/.../social.html’
www.somesite.com/.../social.html [ <=> ] 141.35K 816KB/s in 0.2s
Last-modified header missing -- time-stamps turned off.
2018-02-10 16:34:24 (816 KB/s) - ‘www.somesite.com/.../social.html’ saved [144747]
--2018-02-10 16:34:24-- http://www.somesite.com/.../parliament
Reusing existing connection to www.somesite.com:80.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Saving to: ‘www.somesite.com/.../parliament.html’
Команда, которую я использовал:
wget -m -c -p -E -k -np -e robots=off https://www.somesite.com
Там никакой путь не состоит в том, чтобы дать wget команду не загружать тот же URL, который он уже загрузил прежде?
1 ответ
Просто выполните команду снова. wget достаточно умно для продолжения загрузки. Однако необходимо указать корректные опции.
Например, удалите -nc опция, если Вы хотите повторно загрузить измененные файлы (см. также загрузку Пропуска, если файлы существуют в wget?):
-nc --no-clobber(…) то, Когда-nc будет указан, (…) Wget, откажется загружать более новые копии файла. Поэтому ""нет - ударяют"", на самом деле неправильное употребление в этом режиме---, он не ударяет, это предотвратило (как числовые суффиксы уже предотвращали избиение), а скорее несколько присваивают версию сохранению, это предотвращено.
Когда выполнение Wget с-r или-p, но без-N, - без обозначения даты, или-nc, перезагрузка файла приведут к новой копии, просто перезаписывающей старое. Добавление-nc предотвратит это поведение, вместо этого заставляя исходную версию быть сохраненным и любые более новые копии на сервере, который будет проигнорирован.
Если бы загрузка была прервана во время загрузки большого файла, то Вы могли бы хотеть добавить -c опция:
-c --continueПродолжите получать частично загруженный файл. Это полезно, когда Вы хотите закончить загрузку, запущенную предыдущим экземпляром Wget, или другой программой.
Источник кавычек: man wget
Необходимо также рассмотреть использование screen или tmux вместо disown смочь проверить состояние и вывод Ваших фоновых процессов.