Практически вся разница между Ubuntu Desktop и Ubuntu Server установлена в установленный по умолчанию набор пакетов.
Единственная реальная разница в коде в пакете ядра - пакеты linux-image-*-server имеют немного отличающиеся конфигурации ядра для ядер рабочего стола. Такие опции ядра включают в себя режим PAE (для доступа к> 4GiB-памяти на 32-битных системах) и изменение уровня предварительной удержания по умолчанию (который приоритизирует пропускную способность процессора за счет задержки работы).
В основном это не будет эффект воздействия.