Обратите внимание на команду очистки, которая удаляет файлы конфигурации
sudo apt-get purge virtualbox-guest-x11 virtualbox-guest-utils virtualbox-guest-dkms
Я нашел его здесь