Самый простой способ - просто запустить apt-get autoremove, чтобы удалить любой дополнительный пакет:
sudo apt-get --purge autoremove mate-core mate-desktop-environment
Это должно удалить любой пакет, который связан с mate любым способом.