Как очистить веб-сайт с помощью терминала Ubuntu?
Я хотел бы знать, как делать скребки с помощью терминала Ubuntu. Я читал что-то об использовании python с beatifulsoup, urllib, но мне было интересно, есть ли способ сделать это без запуска скрипта python?
Предположим, что я ищу интернет-сайт www.marmara .edu.tr (мой университетский сайт), и я хотел бы получить некоторые данные, как я могу это сделать с помощью командной строки?
3 ответа
Объедините утилиты curl и обработки текста, такие как grep, sed awk и т. д.
Например:
curl https://askubuntu.com/questions/941409 &| grep -Po '(?<=<title>).*(?=</title>)'
возвращает заголовок ваша страница вопросов.
Объедините утилиты curl и обработки текста, такие как grep, sed awk и т. д.
Например:
curl https://askubuntu.com/questions/941409 &| grep -Po '(?<=<title>).*(?=</title>)'
возвращает заголовок ваша страница вопросов.
Объедините утилиты curl и обработки текста, такие как grep, sed awk и т. д.
Например:
curl https://askubuntu.com/questions/941409 &| grep -Po '(?<=<title>).*(?=</title>)'
возвращает заголовок ваша страница вопросов.