Я пытаюсь найти div с class = 'class', но мне нужно найти все совпадения на главной странице, а также на вспомогательных (или дочерних) страницах. Как это сделать, используя BeautifulSoup или что-нибудь еще?
Я нашел ближайший ответ в этом поиске. Поиск частоты слов на вспомогательных страницах веб-страницы с использованием Python, но этот метод получил только частичный результат, страница интереса имеет гораздо больше подстраниц. Есть ли другой способ сделать это?
Мой код:
from bs4 import BeautifulSoup
soup = BeautifulSoup(page.content, 'html.parser')
subpages = []
for anchor in soup.find_all('a', href=True):
string = 'https://www.mainpage.nl/'+str(anchor['href'])
subpages.append(string)
for subpage in subpages:
try:
soup_sub = BeautifulSoup(requests.get(subpage).content, 'html.parser')
promotie = soup_sub.find_all('strong', class_='c-action-banner__subtitle')
if len(promotie) > 0:
print(promotie)
except Exception:
pass
Спасибо!