Как получить список сбоев URL?
Я пытаюсь загрузить все URL из определенного файла: file.csv, чтобы сделать это, я использую следующую командную строку: wget -c -i file.csv Но я хотел бы получить список всех URL, которые wget не смог скачать.
Когда я использую такой вид командной строки: wget -c -i file.csv 1>output_file.txt 2>error_file.txt я получил error_file.txt со многими сведениями, и многие из них, например, бесполезны, уже загруженный URL-адрес упоминается в этом файле (это не случай неудачи).
Лучшее,
0
задан Nicao
24 December 2017 в 13:45
поделиться
1 ответ
Вы можете попробовать эту команду следующим образом:
wget -c --rejected-log=/path/to/logfile -i file.csv
-
--rejected-log=logfile:Logs all URL rejections to logfile as comma separated values. The values include the reason of rejection, the URL and the parent URL it was found in.
Примечание: Вам необходимо создать файл журнала для использования и указать путь в этой команде
См .: man wget
0
ответ дан George Udosen
24 December 2017 в 13:45
поделиться