Я бы предположил, что это невозможно сделать только с Ubuntu.
Вы можете извлекать данные с помощью браузера терминала, такого как Lynx, или с помощью команды curl, но синтаксический анализ будет чрезвычайно трудоемким.
Это то, что вам понадобится для выполнения обширного сценария. Это был мой собственный проект.
Я провел некоторое исследование, и подобные вопросы были заданы раньше, но их очень мало и далеко.
You может использовать онлайн-инструмент, например https://builtwith.com, для поиска деталей.
Например, это показывает, что techcrunch.com
использует NGINX в качестве веб-сервера. Использует SSL-сертификаты от Годадди; Wordpress показывает SSL-переадресацию Wordpress DNS использует Postmark; Sailthru; Google Apps для бизнеса и установка SPF размещена в Wordpress.com Использует Wordpress VIP, поскольку он CMS Использует интерпретатор PHP Имеет массу аналитики; рекламодатели и отслеживание Использует много JS-библиотек (все перечисленные на сайте), включая такие вещи, как jQuery и Backbone.js. Использует AOL On; Tube Mogul и TidalTV для СМИТам много информации, вам нужно будет прочитать это самостоятельно, но это отличный инструмент.
Надеюсь, что это поможет!
Удачи:)
Это также может быть дублирующим вопросом https://builtwith.com
Существуют и другие онлайн-инструменты перечисленные в вышеуказанном вопросе также.