Прокси для автоматического сохранения определенных URL
Я ищу сетевой прокси, который будет выполнять следующие действия:
Если запрашиваемый URL соответствует определенному шаблону (регулярные выражения были бы идеальными), сохраните передачу в указанную папку.
Я не уверен, смогу ли я достичь этого с помощью Squid (который у меня уже запущен), но я открыт для использования других инструментов.
Спасибо!
1 ответ
Хаком для достижения этой цели может быть использование wwwoffle : когда в режиме «онлайн», wwwoffle сохраняет все посещенные страницы (кроме тех, которые соответствуют заданному регулярному выражению) в папку. Вы можете настроить путь к папке кеша.
Насколько я знаю, не существует прямого способа сообщить WWWOFFLE, какие страницы / URL сохранять, но для этого могут быть обходные пути:
-
, если вы можете отменить свое регулярное выражение вы можете указать WWWOFFLE, какие страницы не сохранять
-
, если ваш браузер поддерживает proxy.pac конфигурацию прокси на основе JavaScript, это просто создать функцию JavaScript, которая предписывает браузеру использовать прокси-сервер только для URL-адресов, соответствующих регулярному выражению.
-
вы можете настроить Squid на использование WWWOFFLE в качестве родительского прокси, когда URL соответствует определенному шаблону; т. е. у вас есть браузер-> Squid-> WWWOFFLE-> Интернет, когда URL-адрес запроса соответствует регулярному выражению, и браузер-> Squid-> Интернет в противном случае.