Извлечение URL веб-сайта
Существует ли путь в Ubuntu для нахождения всех каталогов в веб-сайте?
У меня есть веб-сайт, и я хочу проверить внутренние ссылки (каталоги) того веб-сайта.
Что-то вроде этого:
...
Проблема с этим веб-сайтом состоит в том, когда я ввожу что-то как ubuntu.com/cloud, это не показывает подкаталоги.
4
задан Peter Mortensen
5 April 2018 в 07:39
поделиться
2 ответа
Откройте терминал и тип:
sudo apt install lynx
lynx -dump -listonly -nonumbers "https://www.ubuntu.com/" | uniq -u
Эта команда улучшает предыдущую команду путем перенаправления вывода к текстовому файлу под названием links.txt.
lynx -dump "https://www.ubuntu.com/" | awk '/http/{print $2}' | uniq -u > links.txt
9
ответ дан karel
23 November 2019 в 11:38
поделиться
См. этот ответ из superuser.com:
wget --spider -r --no-parent http://some.served.dir.ca/
ls -l some.served.dir.ca
Существуют бесплатные вебсайты, которые сделают это для Вас и преобразуют вывод в xml формат все же. Я предлагаю, чтобы Вы изучили одного из тех также для наблюдения, какой метод более подходит для потребностей.
Редактирование OP включало новый screenprint
5
ответ дан pa4080
23 November 2019 в 11:38
поделиться