На этот вопрос уже есть ответ здесь:
Я получил VPS-сервер, на котором я неожиданно обнаружил такие пакеты, как bluez
или thunderbird-gnome-support
или firefox
или libqt4
.
] Должен ли я перечислить все пакеты, как в « Как удалить все среды рабочего стола, кроме Unity? »?
Для удаления x11 и всего, что использует его:
apt-get purge libx11.* libqt.*
Можно использовать Tasksel, Это - инструмент, которые устанавливают/удаляют пакеты согласно типу системы, которой Вы требуете.