Извлечение URL веб-сайта

Я нашел способ заставить WiFi BBBw работать.

Сначала добавьте следующие строки в файл etc / network / interfaces BBBw (вам нужно получить к нему доступ другим способом, например последовательное соединение с ноутбуком):
auto wlan0
    iface wlan0 inet dhcp
    wpa-ssid yourSSID
    wpa-psk yourPass
Перезагрузка BBBw Затем вы необходимо обновить прошивку (спасибо jeremy31 за информацию: https: //ubuntuforums.org/showthread.php? t = 2386780):
sudo wget https://git.kernel.org/pub/scm/linux/kernel/git/firmware/linux-firmware.git/plain/ti-connectivity/wl18xx-fw-4.bin
скопируйте вышеупомянутый .bin-файл в каталог lib / firmware / ti-connectivity BBBw Reboot BBBw

После этого вы должны установить соединение с вашим Linux-ПК для подключения BBBw. Это соединение должно быть «Shared to other computers», hotspot mode, WPA / WPA2 Personal и иметь SAME ssid как тот, что находится в файле интерфейсов.

После этого ваш BBBw должен иметь возможность подключиться к вашему ПК. Если вы хотите, чтобы ваш BBBw имел доступ в Интернет, вам необходимо подключить кабель Ethernet к компьютеру.

Дополнительные проблемы:

Есть хороший шанс, что для того, чтобы BBBw мог подключаться к Интернету, к подключению точки доступа к ПК, вы не должны иметь интернет-кабель Ethernet, подключенный во время загрузки BBBw (во время загрузки BBBw пытается найти сеть для подключения). Wi-Fi все еще не работал до тех пор, пока не исчезнет последнее изображение консоли консоли Ubuntu (т. Е. Версия 2018-03-09). Мне не удалось заставить старую версию 2018-02-09 работать.
4
задан 5 April 2018 в 17:39

6 ответов

Откройте терминал и введите:

sudo apt install lynx  
lynx -dump -listonly -nonumbers "https://www.ubuntu.com/" | uniq -u 

Эта команда улучшает предыдущую команду, перенаправляя вывод в текстовый файл с именем links.txt.

lynx -dump "https://www.ubuntu.com/" | awk '/http/{print $2}' | uniq -u > links.txt
9
ответ дан 22 May 2018 в 11:36
  • 1
    Я надеюсь, что это не приведет к запрету, как комментарий pa4080 ниже вопроса при ссылке на ссылку: askubuntu.com/questions/991447/… – WinEunuuchs2Unix 5 April 2018 в 14:03
  • 2
    Нельзя ли что-то сказать о том, что заблокирован , если вы делаете слишком много запросов за определенный период времени - на некоторых сайтах могут быть ограничения по скорости (например, у самого пакета Stack Exchange)? – Peter Mortensen 5 April 2018 в 15:45
  • 3
    Можете ли вы объяснить в своем ответе, что он делает (предположительно, spidering весь сайт)? Например. существуют ли какие-то неявные ограничения (например, что, если возвращенная страница содержит 100 000 ссылок)? – Peter Mortensen 5 April 2018 в 15:48
  • 4
    Я не занимаюсь веб-сайтом с несколькими страницами, а возвращаю ссылки только на одной веб-странице. Предполагая крайне невероятный случай плохо разработанной отдельной веб-страницы, содержащей 100 000 ссылок (как можно было бы загрузить такую ​​страницу для начала), я полагаю, что lynx попытается вернуть все ссылки до тех пор, пока не закончит выполнение команды, или пока терминал застыл. – karel 5 April 2018 в 16:04
  • 5
    Фактически, я запускал очень сложные сценарии резервного копирования с терминала, содержащие сотни гигабайт переданных файлов, и ничего не застыло, пока команда резервного копирования не завершилась успешно. Поэтому я думаю, что рысь успешно выполнится даже в этом крайнем случае. – karel 5 April 2018 в 16:09

Откройте терминал и введите:

sudo apt install lynx lynx -dump -listonly -nonumbers "https://www.ubuntu.com/" | uniq -u

Эта команда улучшает предыдущую команду, перенаправляя вывод в текстовый файл с именем links.txt.

lynx -dump "https://www.ubuntu.com/" | awk '/http/{print $2}' | uniq -u > links.txt
9
ответ дан 17 July 2018 в 17:27

Откройте терминал и введите:

sudo apt install lynx lynx -dump -listonly -nonumbers "https://www.ubuntu.com/" | uniq -u

Эта команда улучшает предыдущую команду, перенаправляя вывод в текстовый файл с именем links.txt.

lynx -dump "https://www.ubuntu.com/" | awk '/http/{print $2}' | uniq -u > links.txt
9
ответ дан 23 July 2018 в 18:16

См. этот ответ от superuser.com:

wget --spider -r --no-parent http://some.served.dir.ca/
ls -l some.served.dir.ca

Есть бесплатные веб-сайты, которые сделают это для вас и конвертируют вывод в формат xml. Я предлагаю вам изучить один из них, чтобы узнать, какой метод больше подходит для ваших нужд.

Edit OP включил новый экран

4
ответ дан 22 May 2018 в 11:36
  • 1
    Вы также можете добавить глубину рекурсии - например, ко второму уровню: wget --spider -r -l2. – pa4080 5 April 2018 в 14:02

См. этот ответ от superuser.com:

wget --spider -r --no-parent http://some.served.dir.ca/ ls -l some.served.dir.ca

Есть бесплатные веб-сайты, которые сделают это для вас и конвертируют вывод в формат xml. Я предлагаю вам изучить один из них, чтобы узнать, какой метод больше подходит для ваших нужд.

Edit OP включил новый экран

4
ответ дан 17 July 2018 в 17:27

См. этот ответ от superuser.com:

wget --spider -r --no-parent http://some.served.dir.ca/ ls -l some.served.dir.ca

Есть бесплатные веб-сайты, которые сделают это для вас и конвертируют вывод в формат xml. Я предлагаю вам изучить один из них, чтобы узнать, какой метод больше подходит для ваших нужд.

Edit OP включил новый экран

4
ответ дан 23 July 2018 в 18:16
  • 1
    Вы также можете добавить глубину рекурсии - например, ко второму уровню: wget --spider -r -l2. – pa4080 5 April 2018 в 14:02

Другие вопросы по тегам:

Похожие вопросы: