Wget застрял после сохранения sitemap.htm

У меня установлен wget на индексе сайтов, и он вытаскивает все каталоги, подкаталоги и файлы. Однако wget запускается через индекс, создавая деревья каталогов и загружая все файлы index.html, не захватывая другие файлы, например файлы .pdf, которых много. Кроме того, он всегда попадает в один каталог, загружает и сохраняет файл с именем «sitemap.htm», а затем останавливается, не переходя к следующему URL-адресу.

Мой вопрос в том, знает ли кто-нибудь, почему он останавливается в файле sitemap.htm и почему он загружает только файлы index.html. Я использовал тот же самый код wget на других URL-адресах, даже с того же самого хост-сайта, и он отлично работал, поэтому я не уверен, что делать здесь. Следующий код - это то, что я запускаю. Если это недостаточно ясно, сообщите мне, и я могу уточнить.

wget -v -H -nH -e robots=off -c -r -p -m -np --random-wait -U mozilla -R html,htm,php,asp,jsp,js,py,css -D url.com --tries=2 -i /path/to/file/containing/urls --directory-prefix=/path/to/destination/directory
0
задан 17 October 2017 в 22:37

0 ответов

Другие вопросы по тегам:

Похожие вопросы: