Согласно https://help.ubuntu.com/community/Cuda (мое форматирование):
"Если вы хотите полностью удалить Cuda, juste удалите папки /opt/cuda и ~/NVIDIA_GPU_Computing_SDK :
rm -r ~/NVIDIA_GPU_Computing_SDK
sudo rm -r /opt/cuda
и удалите строки export PATH=$PATH:/opt/cuda/bin и export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/cuda/lib:/opt/cuda/lib64 файла ~/.bash_profile.