rsa, ssh и репозиторий

Вы не сказали, где вы кладете файл открытого ключа на удаленный хост. Ssh поставляется с удобным скриптом ssh-copy-id (хотя это отправляет все ваши открытые ключи, которые могут быть не такими, какие вы хотите).

Каково фактическое имя вашего личного ключа? id_rsa? Else ssh-add ~/.ssh/mykey.txt может быть полезен при каждом входе в систему.

Вы не сказали, что git действительно использовал ssh вообще.

Все это можно прояснить с помощью реальных журналов ваших попыток.