Питоновая терапия без всплеска
Я пытаюсь очистить веб-сайт, который использует запрос AJAX для показа содержимого.
Я попытался имитировать вызов AJAX, но каждый раз, когда он отправляет запрос, он использует другой токен в своем cookie, поэтому я получаю ошибку «500» и не могу получить доступ к серверу.
Итак, я пошел на второй вариант (например, соскабливая веб-сайт с помощью всплеска). Я установил его с докере, и я запускаю его на порт 8050.
В http://localhost:8050 у меня есть тестовую консоль render.html. Я пишу адрес сайта и когда он должен показывать весь контент (включая те, которые производятся с AJAX), это не так!
Я попробовал это в своем проекте с кодами и программным обеспечением, и все правильно, но оно не работает!
Любая помощь была бы оценена.
B.t.w .: адрес, который я пытаюсь очистить, это: http://lastsecond.ir/tours/
2 ответа
Если вы хотите, чтобы это был python, вы можете использовать pygi или pyqt с полнофункциональными браузерами webkit. Затем введите произвольный JS на странице или проанализируйте dom, как вы предпочитаете. Это полнофункциональный браузер, настолько тяжелый, чем некоторые фреймворки - он работает только, если вы не пытаетесь разобрать DOM-переписывание на то, что использует теневую DOM.
Если вы хотите, чтобы это был python, вы можете использовать pygi или pyqt с полнофункциональными браузерами webkit. Затем введите произвольный JS на странице или проанализируйте dom, как вы предпочитаете. Это полнофункциональный браузер, настолько тяжелый, чем некоторые фреймворки - он работает только, если вы не пытаетесь разобрать DOM-переписывание на то, что использует теневую DOM.