Должно работать одно из следующих действий:
sudo apt-get remove --purge nvidia-current
sudo apt-get remove --purge nvidia-current-updates
Следуйте этому с помощью
sudo apt-get autoremove
Плюс, вы можете начать заново в своей конфигурации X
sudo mv /etc/X11/xorg.conf /etc/X11/xorg.conf.backup
Если у вас все еще есть проблемы, не могли бы вы прояснить, какие инструкции вы следовали для установки драйверов nvidia и что вы пытались сделать так, чтобы удалить их.