Извлечение технологий с использованием URL-адреса веб-сайта
Я хотел бы узнать, можно ли получить технологии, используемые для создания веб-сайта, просто используя URL-адрес с помощью Ubuntu. Скажем, например: если у меня есть URL-адрес: https://www.wikipedia.org/
Я хочу знать технологии, используемые для создания этого веб-сайта. Выход был бы :
PHP, HHVM, Vanish, AddThis and many others.
Есть ли способ сделать это быстрее? Пожалуйста, также помните, что у меня есть файл списка веб-сайтов, и я хочу извлечь веб-технологии этих веб-сайтов и поместить их в файл сразу после URL-адреса (по строке). Пожалуйста, дайте мне знать, возможно ли это с помощью команды Ubuntu или любого программного обеспечения на Ubuntu.
1 ответ
Я бы предположил, что это невозможно сделать только с Ubuntu.
Вы можете извлекать данные с помощью браузера терминала, такого как Lynx, или с помощью команды curl, но синтаксический анализ будет чрезвычайно трудоемким.
Это то, что вам понадобится для выполнения обширного сценария. Это был мой собственный проект.
Я провел некоторое исследование, и подобные вопросы были заданы раньше, но их очень мало и далеко.
You может использовать онлайн-инструмент, например https://builtwith.com, для поиска деталей.
Например, это показывает, что techcrunch.com
использует NGINX в качестве веб-сервера. Использует SSL-сертификаты от Годадди; Wordpress показывает SSL-переадресацию Wordpress DNS использует Postmark; Sailthru; Google Apps для бизнеса и установка SPF размещена в Wordpress.com Использует Wordpress VIP, поскольку он CMS Использует интерпретатор PHP Имеет массу аналитики; рекламодатели и отслеживание Использует много JS-библиотек (все перечисленные на сайте), включая такие вещи, как jQuery и Backbone.js. Использует AOL On; Tube Mogul и TidalTV для СМИТам много информации, вам нужно будет прочитать это самостоятельно, но это отличный инструмент.
Надеюсь, что это поможет!
Удачи:)
Это также может быть дублирующим вопросом https://builtwith.com
Существуют и другие онлайн-инструменты перечисленные в вышеуказанном вопросе также.
-
1Спасибо за ваш ответ. но это не то, что я ожидаю с точки зрения ответа на раздачу. пожалуйста, вы можете добавить больше ссылок на свой ответ, поэтому я буду удовлетворен. – Jaffer Wilson 11 November 2016 в 10:53
-
2Все нормально. Меня не интересует щедрость. Просто пытаюсь быть полезным. В дублированном вопросе, который я перечислял, есть честно тонна ссылок сайтов и инструментов. Ну стоит посмотреть в :) – ThatGuy 11 November 2016 в 14:06