Как загрузить весь сайт?
Хорошо, эта проблема заставила меня озадачиваться месяцами, и я нахожусь на Fedora, но мой пост может помочь кому-то не сломать все без толку.
Сегодня я понял, что звуковые уведомления в Thunderbird больше не работают просто потому, что я отключил звуковые эффекты в пульсе .... Я бы никогда не думал, что эти два были связаны, и я отключил его, потому что я не был взволнован звуковой галереей, которую он предложил.
Теперь уведомление по почте вернулось, и это очень важно для моей работы. Надеюсь, что кто-то поможет там.
7 ответов
- инструмент, который вы ищете.
HTTrack позволяет загружать веб-сайт World Wide Web из Интернета в локальный каталог, построение рекурсивно всех каталогов, получение HTML, изображений и других файлов с сервера на ваш компьютер. HTTrack упорядочивает относительную структуру ссылок исходного сайта.
С помощью wget вы можете скачать весь сайт, вы должны использовать переключатель -r для рекурсивной загрузки. Например,
wget -r http://www.google.com
WEBHTTRACK WEBITE COPIER - удобный инструмент для загрузки всего веб-сайта на ваш жесткий диск для автономного просмотра. Запустите программный центр ubuntu и введите «копир веб-сайта» без кавычек в поле поиска. выберите и загрузите его из программного центра в вашу систему. запустите webHTTrack либо из laucher, либо из меню Start, оттуда вы сможете начать пользоваться этим отличным инструментом для загрузки вашего сайта
Я не знаю о субдоменах, т. е. подсайтах, но wget можно использовать для захвата полного сайта. Взгляните на этот вопрос суперпользователя. В нем говорится, что вы можете использовать -D domain1.com,domain2.com для загрузки разных доменов в одном скрипте. Я думаю, вы можете использовать эту опцию для загрузки поддоменов i.e -D site1.somesite.com,site2.somesite.com
Я использую Burp - инструмент паук гораздо более интеллектуальный, чем wget, и его можно настроить, чтобы избежать необходимости при необходимости. Burp Suite - это мощный набор инструментов для тестирования, но инструмент для пауков очень эффективен.
-
1Разве это не только Burp Windows? Лицензионное соглашение с закрытым исходным кодом для Burp также довольно тяжелое. Не говоря уже о цене $ 299,00: – Kat Amsterdam 8 May 2012 в 23:00
-
2от лицензии: ПРЕДУПРЕЖДЕНИЕ: БЕРАЛЬНОЕ ЛЮКС БЕСПЛАТНОЕ ИЗДАНИЕ ПРЕДНАЗНАЧЕН ДЛЯ ИСПЫТАНИЙ ДЛЯ БЕЗОПАСНОСТИ И МОЖЕТ БЫТЬ УЩЕРБ НА ЦЕЛЕВЫЕ СИСТЕМЫ В СВЯЗИ С ПРИРОДОЙ ЕГО ФУНКЦИОНАЛЬНОСТИ. ИСПЫТАНИЯ ДЛЯ БЕЗОПАСНОСТИ FLAWS НАСТОЯТЕЛЬНО ВМЕШАЕТ ВЗАИМОДЕЙСТВИЕ С ЦЕЛЕВАМИ В НЕСТАНДАРТНЫХ ПУТЯХ, КОТОРЫЕ МОГУТ ПРИВЕСТИ К ПРОБЛЕМАМ В НЕКОТОРЫХ УЯЗВИМЫХ ЦЕЛЯХ. ВЫ ДОЛЖНЫ БЫТЬ ОБРАТИТЕСЬ, ЧТО ИСПОЛЬЗУЕТЕ ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ, ВЫ ДОЛЖНЫ ПРОЧИТАТЬ ВСЕ ДОКУМЕНТАЦИЮ ПЕРЕД ИСПОЛЬЗОВАНИЕМ, ВЫ ДОЛЖНЫ ОБРАТИТЬ ЦЕЛЕВЫЕ СИСТЕМЫ ПЕРЕД ИСПОЛЬЗОВАНИЕМ И ВЫ НЕ ДОЛЖНЫ ИСПОЛЬЗОВАТЬ ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ПО ПРОИЗВОДСТВЕННЫМ СИСТЕМАМ ИЛИ ДРУГИМ СИСТЕМАМ, ДЛЯ КОТОРЫХ РИСК ОТ ПОВРЕЖДЕНИЯ НЕ ПРИНИМАЕТ ВАМ , – Kat Amsterdam 8 May 2012 в 23:00
-
3Для того, что он делает, цена удивительно дешевая - я бы порекомендовал ее купить для широкого спектра тестирования безопасности. И очень легко настроить его для тестирования в точности так, как вы хотите - безопаснее, чем AppScan в некоторых случаях :-) – Rory Alsop 8 May 2012 в 23:22
-
4@KatAmsterdam Что касается конкретно вопроса о совместимости: Согласно Wikipedia , Burp Suite является Java-приложением, поэтому он должен работать нормально на Ubuntu. – Eliah Kagan 11 April 2013 в 03:21
-
5Kat - он отлично работает на разных вариантах Linux. Предупреждение о лицензии такое же, как и любое средство, которое вы можете использовать для оценки безопасности. – Rory Alsop 24 August 2016 в 18:42
Вы можете загрузить весь сайт с помощью этой команды:
wget -r -l 0 website
Пример:
wget -r -l 0 http://google.com
-r
--recursive
Turn on recursive retrieving. The default maximum depth is 5.
-l depth
--level=depth
Specify recursion maximum depth level depth.
Смотрите этот учебник для более
Источники: [ f3]
-
1Не могли бы вы объяснить, как эта команда работает? Что оно делает? – Kaz Wolfe 18 June 2016 в 20:21
Если скорость вызывает беспокойство (а благополучия сервера нет), вы можете попробовать puf, который работает как wget, но может одновременно загружать несколько страниц. Это, однако, не готовый продукт, не поддерживаемый и ужасно недокументированный. Тем не менее, для загрузки веб-сайта с большим количеством мелких файлов это может быть хорошим вариантом.