Хм ... вам действительно нужен xDE на сервере? Конечно, это ваше дело, но в моих мыслях сервер не должен тратить свои ресурсы на такие вещи.
В любом случае, если вы действительно хотите снизить свою производительность, вы можете:
apt-get install *-desktop
, где asterisk обозначает ubuntu, xubuntu, gnome и т. д. Проконсультируйтесь с доступными репозиториями.
Чтобы избежать значительного снижения производительности, я предлагаю установить низкоуровневое потребление DE, например XFCE.
На всех моих серверах нет DE, а все управляющие задачи я делаю через WebMin или (в основном) через ssh. Можете ли вы объяснить, для чего вам нужен GDE?