Как я делаю запланированные снимки аутентифицируемой веб-страницы?
Как может я, как новичок Ubuntu, получать ежедневный снимок веб-страницы? Страница требует журнала в и затем отображает набор чисел, которыми я интересуюсь.
Я могу записать сценарий для заботы об этом?
(Я нахожусь на списке очередности для корпуса общежития колледжа и хочу пристально следить за прогрессией. Существует длинный список ежедневной обновленной информации, которую я хотел бы сохранить где-нибудь, я могу легко просмотреть его.)
Править: таким образом, я использовал сценарий Rinzwind и провел некоторое исследование самостоятельно; вот то, что я имею до сих пор:
#!/bin/bash
filename="kkik"
url="https://www.kollegierneskontor.dk/default.aspx?func=kkikportal.housingrequests&lang=GB"
date=` date +%d%m%Y`
output="$filename-$date.html"
wget --save-cookies cookies.txt --post-data 'Page_ctl05_Main_ctl04_form_loginUserName=*****&Page$ctl05$Main$ctl04$form$loginPassword=******'
wget --load-cookies cookies.txt $url -O $output
это успешно загружает, 'у Вас нет разрешения' страницей (если я вынимаю cookie и отправляю материал, это дает мне, 'необходимо войти в систему' страница, которая отличается). Я пропускаю что-либо очевидное? Это не походит на чрезмерно сложный веб-сайт.
Я уверен, заставляю ли я сценарий работать, я выясню, как сделать задание Крона из него.
3 ответа
1. Загрузка снимка веб-сайта
Можно загрузить страницу некоторыми простыми командами. Это требует входа в каждый раз? Это могло бы потребовать некоторого дополнительного кодирования, но это - общий сценарий, который загружает веб-сайт (и добавляет дату к загрузке),
#!/bin/bash
filename="askubuntu"
url="www.askubuntu.com"
date=` date +%d%m%Y`
output="$filename-$date.html"
wget $url -O $output
Результат:
askubuntu-210611.html может быть просмотрен с браузером или средством просмотра текста как gedit. Это может даже быть изменено для добавления в некоторых sed/grep команды для фильтрации всего, что является HTML из результата и просто сохраняет данные, которых Вы требуете. Помогает добавить данные к libreoffice calc, например.
Если Вы добавляете его к a cron сценарий у Вас может быть он, делает это каждый x минуты/часы.
2. Создание нескольких снимков экрана веб-сайта
Затвор может сделать изображения из командной строки с
shutter --window=.*firefox.*
Это сделает снимок экрана экземпляра названным Firefox и сохранит его с новым именем в папке, Вы сохраняете свои снимки экрана затвора. Добавьте это к сценарию и имейте его, выполняются один раз во время, которое Вы хотите, и у Вас могут быть снимки экрана Вашего веб-сайта. Пока Вы обновляете страницу с дополнением как обновление каждый, Вы установлены пойти.
Затвор также способен к созданию изображения части экрана с
shutter -s=100,100,300,300 -e
или получите снимок экрана веб-сайта (вероятно, не применимый для Вас, если необходимо войти в систему каждый раз):
shutter --web=[URL]
Не уверенный, если это - решение для Вас, потому что это не удовлетворяет все Ваши требования. Однако с расширением ScrapBook Firefox можно создать снимки веб-сайтов легко. Каждый раз, когда Вы захватываете снимок, он создает запись в списке, отсортированном по дате, и можно легко возвратиться взгляд на любую версию.
Поскольку необходимо войти в сайт, расширение ScrapBook является большим, потому что можно войти в систему сначала и затем взять снимок в качестве зарегистрированного пользователя.
Единственная вещь, которую это не сделает, автоматизирована снимки, потому что необходимо будет перейти на сайт и сохранить снимок вручную.
Надеюсь, это поможет.
@joon я предполагаю Вас, нужен xdotool.
Xdotool позволяет Вам моделировать ввод с клавиатуры и действие мыши, переместить и изменить размер окон, и многое другое. Возьмите проверку. С этим можно сделать аутентификацию в классическом стиле "gui", затем код может сделать снимок экрана и безотносительно... Я надеюсь, что это помогает Вам на Вашем пути.