Ubuntu Server Edition - это тот же Ubuntu с различными пакетами. Я установил серверы и установил пакет ubuntu-desktop, если я почувствовал потребность в графическом интерфейсе в системе. Я уверен, что обратное тоже будет работать.
Если вы хотите графический интерфейс, но не хотите, чтобы дополнительный наворот, который поставляется с настольной версией, продолжайте его. Удаление Open Office, GIMP, Firefox и т. Д. Не должно создавать никаких проблем.