Это X-сервер. Это графический интерфейс, к которому относятся все другие графические приложения.
Да, он должен работать все время. LightDM - это только менеджер входа в систему, который загружает сначала. Использование большого количества ресурсов обычно является признаком того, что X либо борется с дерьмовым драйвером, либо что есть дерьмовое приложение (исторически обычно Compiz), пытающееся слишком сильно нажать на драйвер. Использование xorg-edgers - хороший способ запуска crappy untested software. Прочитайте описание PPA и решите, хотите ли вы использовать ppa-purge. Новейшие драйверы nvidia можно установить без обновления X.