Вероятно, это конфликт между xfce4-notifyd и notify-osd. Так как notify-osd требуется ubuntu-desktop, его необходимо удалить. Но удаление ubuntu-desktop не означает удаление фактического программного обеспечения. Сам пакет ubuntu-desktop представляет собой мета-пакет, который существует только для обеспечения присутствия всех компонентов. Таким образом, установка ubuntu-desktop будет устанавливать, например, firefox, но удаление ubuntu-desktop не удалит firefox.
Я не знаю, почему существует конфликт между этими двумя системами уведомлений, но это, вероятно, что-то вы должны взглянуть, прежде чем начать, так как notify-osd довольно круто.