поисковый робот wget получает нежелательные индексные файлы index.html

Попробуйте это после загрузки, если вы не хотите использовать механизм удаления wget или находитесь в системе, не поддерживающей эту опцию.

FIND=$($WHICH find)
PWD2=$($WHICH pwd)
SH=$($WHICH sh)
ECHO=$($WHICH echo)
LESS=$($WHICH less)

Команда:

$FIND "$($PWD2)" -regextype posix-egrep -type f -regex '^(.*?html\?C=[DNSM];O=[AD]) 
 Если вы удовлетворены результатом, выполните следующее: 
 
 
 Введите следующую команду (см. Ниже): 
 
 Замените $ ECHO на $ RM в приведенной выше команде. 
 
 Удалите трубу (|) и $ LESS, чтобы получить фактический результат. 
 
 
  (Я не несу ответственности за удаление всей файловой системы, следовательно, таким образом.)  
 
RM=$($WHICH rm);export RM
$FIND "$($PWD2)" -regextype ... ;$RM -f -v "${xox}"' \; 
 
 Надеюсь, это поможет. 
 -exec "$SH" -c 'o="{}";$ECHO -f -v "${o}"' \; | $LESS

Если вы удовлетворены результатом, выполните следующее:

1. Введите следующую команду (см. Ниже):
2. Замените $ ECHO на $ RM в приведенной выше команде.
3. Удалите трубу (|) и $ LESS, чтобы получить фактический результат.

(Я не несу ответственности за удаление всей файловой системы, следовательно, таким образом.)

RM=$($WHICH rm);export RM
$FIND "$($PWD2)" -regextype ... ;$RM -f -v "${xox}"' \; 

Надеюсь, это поможет.

Исключить файлы индексного вида, такие как те, которые имеют URL index.html?C=... без исключения любого другого отчасти index.html* файлы, существует действительно более точная возможная спецификация. Попробуйте: -R '\?C='

Быстрая демонстрация

Настройте другой пустой каталог, например

$ mkdir ~/experiment2
$ cd ~/experiment2

Затем более короткая версия Вашей команды, без рекурсии и уровней, чтобы сделать быстрый тест на одну страницу:

$ wget --tries=inf --timestamping --convert-links --page-requisites --no-parent -R '\?C=' http://ioccc.org/2013/cable3/

После того, как wget сделан, ~/experiment2, будет иметь нет index.html?C=... файлы:

.
└── ioccc.org
    ├── 2013
    │   └── cable3
    │       └── index.html
    ├── icons
    │   ├── back.gif
    │   ├── blank.gif
    │   ├── image2.gif
    │   ├── text.gif
    │   └── unknown.gif
    └── robots.txt

4 directories, 7 files

Таким образом, это действительно исключило их избыточный индексный вид index.html?C=... каталоги при хранении всех других каталогов index.html, в этом случае просто index.html

Реализация

Поэтому просто реализация -R '\?C=' , путем обновления оболочки функционируют в ~/.bashrc:

crwl() {
  wget --tries=inf --timestamping --recursive --level=inf --convert-links --page-requisites --no-parent -R '\?C=' "$@"
}

Затем не забудьте или тестировать в новом терминале или ударе ресурса для создания этого эффективным:

$ . ~/.bashrc

Затем попробуйте его в новом каталоге для сравнения:

$ mkdir ~/experiment3
$ cd ~/experiment3
$ crwl http://ioccc.org/2013/cable3/

Гарантия

• wget 1.14 и только. Таким образом, если Ваш wget -V говорит, что это 1.13, это не может работать, и у Вас есть потребность на самом деле удалить противных index.html?C=... самостоятельно, или попытка получить более позднюю версию wget.
• работы путем определения Вас хотят -R или отклоните шаблон в этом случае страницы с ?C= шаблон, который типичен для index.html?C=... версии index.html.
• однако ? оказывается, wget подстановочный знак, таким образом соответствует литералу ? необходимо выйти из него как \?
• не прерывайте wget. Поскольку кажется, что путь wget работы со способными обзором веб-страницами состоит в том, чтобы на самом деле загрузить сначала, удалить позже, как будто это должно проверить в случае, если те страницы имеют дальнейшие ссылки на проверку. Таким образом, при отмене этого на полпути, Вы все еще собираетесь закончить с index.html?C= файлы. Только если Вы позволяете wget закончиться, затем wget будет следовать за Вашим -R спецификация и удаляет любого временно загруженного index.html?C=... файлы для Вас