Я пишу сценарий bash, чтобы получить некоторые данные из поиска Google. Я использовал lynx
для запроса и перенаправил результаты в файл для последующего анализа. Проблема в том, что я получаю только одну страницу, как я могу получить lynx
, чтобы получить следующую страницу / количество страниц?
Я использовал grep и cut, чтобы изолировать URL-адрес вроде "www.google.com/search?q = .....", но затем, когда я пытаюсь отправить его на lynx, он не открывает следующую страницу, просто показывает ссылку без открытия какого-либо предложения? TNX
Я предполагаю, что вам нужно будет пройти по всем ссылкам внизу страницы, результаты поиска не будут сведены к одной странице.
Вам нужно будет разобрать и загрузить каждый из результатов самостоятельно.