Когда я настроил SSH с основанными на аутентификации ключами, я понял, что закрытый ключ был необходим, чтобы аутентификация работала, Но когда я удалил закрытый ключ (ID_RSA), я могу все еще войти в систему без пароля.
Вот вывод ssh-vvv https://pastebin.com/1fiLQrdZ
После удаления закрытого ключа можно все еще войти в систему без пароля при использовании ключевого менеджера, которому кэшировали закрытый ключ.
После того, как ключевой менеджер останавливается, Вы не сможете войти в систему со своим несуществующим ключом. (Например после того, как Вы выходите из системы и входите в систему снова.)