сохранение нескольких файлов с помощью cURL

У меня есть этот список URL-адресов в .txt-файле, который, я думаю, должен получить их содержимое. Для этого я решил использовать cURL. С кривыми xargs & lt; url-list.txt, я могу отображать все содержимое URL-адреса в моем терминале. С curl -o myFile.html www.example.com я могу сохранить только 1 файл.

Существует также xargs curl & lt; url-list.txt , но для меня это будет слишком долго.

Как я могу сохранить сразу несколько файлов?

сразу

#!/bin/bash
file="filename"

while read line
do 
  curl -o "$line.html" "$line"
done < "$file"

Я запустил экран bash выше, и вот что произошло:

1
задан 1 July 2014 в 19:52

1 ответ

Хотя самый простой подход заключается в создании сценария цикла, предложенном @ dan08, если ссылки, которые вам нужно загрузить, являются последовательными, например:

http://www.host.com/page-1.html
http://www.host.com/page-2.html

и т. д., вы можете использовать curl:

curl "http://www.host.com/page-[1-30].html" -o "# 1.html" #(30 is indicative)

это приведет к созданию файлов последовательно, используя значение текущего диапазона вместо # 1 в имени файла.

1
ответ дан 24 May 2018 в 06:07

Другие вопросы по тегам:

Похожие вопросы: