Я думаю, вы должны попробовать aptitude.
Установите его: sudo apt-get install aptitude
Возможно, вам нужно будет сначала установить xfce4: sudo aptitude install xfce4
Теперь очистите его: sudo aptitude purge xfce4 [!d3 ]
ps .: Я никогда не устанавливал xfce4, но команда apt-cache search xfce4 также дает мне этот вывод.