try: sudo apt-get удалить xfce4- * это помогает удалить все связанные пакеты, после того как вы выполнили sudo apt-get purge xfce4, конечно.