Оба xfce4 и xubuntu-desktop - это мета-пакеты, и вы можете узнать, какие файлы содержит какой-либо пакет, какие пакеты необходимы, какие пакеты рекомендуется, какие пакеты предлагаются и что, если какие-либо пакеты он конфликтует, идя отсюда.
http://packages.ubuntu.com/
Если вы сравниваете страницы, возвращенные для http://packages.ubuntu.com/ и xubuntu -desktop вы увидите, что рабочий стол xubuntu зависит от большинства пакетов, таких как xfce4 и многое другое.
sudo apt-get install xfce4
Будет устанавливать намного меньше
sudo apt-get install --no-install-recommends xubuntu-desktop