У меня есть этот список URL-адресов в .txt-файле, который, я думаю, должен получить их содержимое. Для этого я решил использовать cURL. С кривыми xargs & lt; url-list.txt, я могу отображать все содержимое URL-адреса в моем терминале. С curl -o myFile.html www.example.com я могу сохранить только 1 файл.
Существует также xargs curl & lt; url-list.txt , но для меня это будет слишком долго.
Как я могу сохранить сразу несколько файлов?
сразу
#!/bin/bash
file="filename"
while read line
do
curl -o "$line.html" "$line"
done < "$file"
Я запустил экран bash выше, и вот что произошло:
Хотя самый простой подход заключается в создании сценария цикла, предложенном @ dan08, если ссылки, которые вам нужно загрузить, являются последовательными, например:
http://www.host.com/page-1.html
http://www.host.com/page-2.html
и т. д., вы можете использовать curl:
curl "http://www.host.com/page-[1-30].html" -o "# 1.html" #(30 is indicative)
это приведет к созданию файлов последовательно, используя значение текущего диапазона вместо # 1 в имени файла.