Обычным местом для вашего закрытого ключа RSA является ~/.ssh/id_rsa. Ни ключ, ни содержащая директория не должны быть читаемыми в группе или в мире.