не удалось выполнить telnet ubuntu с хоста Windows

используйте apt-get purge, чтобы удалить что-либо, включая конфиги и аналогичные.

Если проблемы сохраняются, вы всегда можете использовать find -name '*java*' или найти какие-либо java-остатки. Обратите внимание, что вам также может потребоваться выполнить поиск, например. jvm (виртуальная машина java) и что find позволит удалить, но используйте эту команду с осторожностью.

В качестве альтернативы вы всегда можете принудительно переустановить: apt-get install --reinstall package-name

Это может вылечить проблемы с вашей java.