У меня была эта проблема, и предложение использовать apt-get autoremove не помогло мне.
Я решил это, выполнив:
sudo apt-get purge linux-headers-3.2.0-23
на таких заголовках linux, которые жили в /usr/src. Я не удалял заголовки, соответствующие используемому ядру.
Перезагрузили сервер.