Для KDE: посмотрите, работает ли gnome-keyring-daemon в вашей системе. Затем узнайте, с каким приложением оно попало в вашу систему (возможно, gnome libs вам нужно было запустить некоторые приложения gnome).
У меня была та же проблема. Я убил демона gnome-keyring и попробовал другое соединение ssh, и не появилось дополнительного окна, и меня попросили ввести мою кодовую фразу для каждого нового соединения.
Я установил соответствующие двоичные файлы ключей на разрешение 600. Это должно помочь, пока я не разрешу эту проблему полностью.