Чтобы полностью удалить OpenJDK на Ubuntu 11.10 (это может быть или не быть достаточным для других версий Ubuntu), запустите:
sudo apt-get purge openjdk-\* icedtea-\* icedtea6-\*
Если вам нужны инструкции для удаления проприетарного Oracle ("Sun" ) версии Java, тогда вам нужно будет указать, как вы ее установили. (Если вы отредактируете свой вопрос, чтобы указать на это и оставить комментарий к этому ответу, я также попытаюсь добавить информацию о том, как его удалить.)