Они обрабатывают практически все (что не отображает графику на аппаратном обеспечении) для X. Логины, приветствия, передают X конфигурацию для внешних подключений, выбор сеанса.
Вам не нужен тяжелый DM, но я бы сказал, что GDM не так уж тяжел. LightDM, конечно, нет. Но если вы действительно пытаетесь гипермилировать вещи, взгляните на NoDM. Он очень сырой и предназначен только для однопользовательских систем.
Я использую NoDM в нашем медиацентре, который только запускает X, а затем запускает Boxee.