Если вы хотите точно контролировать, что запускается при запуске startx, вы должны создать файл .xinitrc в своем домашнем каталоге. Если вы сделаете .xinitrc что-то очень простое:
xfwm4 &
xterm
Затем startx будет работать только с оконным менеджером и терминалом.