Обратите внимание, что apt-cache не показывает установленные вами пакеты, а те, которые известны.
Чтобы проверить, что вы установили, вы можете использовать:
dpkg --get-selections | grep xfce
Обязательно посмотрите на второй выходной столбец, чтобы узнать, установлено или не установлено.
После очистки всех пакетов xfce указанная выше команда не возвращает выход на моем компьютере.