Интересно, будет ли только удалять linux-server.
В конце концов, linux-server является причиной установки linux-headers-server и если заголовки не нужны, вся система должна работать хорошо, если установлен только linux-image-server.
У меня была небольшая проблема на небольшом виртуальном хосте, и я удалил linux-server и пакеты заголовков. Сервер работает нормально, но имеет более 700 Мбайт больше свободного места на жестком диске, что очень важно для виртуального хоста 5 гигабайт.