Поиск в подстраницах главной страницы с помощью BeautifulSoup

Я пытаюсь найти div с class = 'class', но мне нужно найти все совпадения на главной странице, а также на вспомогательных (или дочерних) страницах. Как это сделать, используя BeautifulSoup или что-нибудь еще?

Я нашел ближайший ответ в этом поиске. Поиск частоты слов на вспомогательных страницах веб-страницы с использованием Python, но этот метод получил только частичный результат, страница интереса имеет гораздо больше подстраниц. Есть ли другой способ сделать это?

Мой код:

from bs4 import BeautifulSoup
soup = BeautifulSoup(page.content, 'html.parser')
subpages = []
for anchor in soup.find_all('a', href=True):
    string = 'https://www.mainpage.nl/'+str(anchor['href'])
    subpages.append(string)
for subpage in subpages:
    try:
        soup_sub = BeautifulSoup(requests.get(subpage).content, 'html.parser')
        promotie = soup_sub.find_all('strong', class_='c-action-banner__subtitle')
        if len(promotie) > 0:
            print(promotie)
    except Exception:
        pass

Спасибо!

0
задан 13 August 2018 в 14:43

0 ответов

Другие вопросы по тегам:

Похожие вопросы: