Вам нужно переключить систему на более низкий уровень запуска. По умолчанию X начинается с уровня запуска 5. Следуйте этой статье: Уровни запуска Debian и Ubuntu Linux | Debian Admin
вы можете изменить уровень запуска во время выполнения, выполнив, например, init <n>, или при загрузке, добавив количество уровней запуска в загрузочную строку grub.