IPv4 не настроен на Ubuntu в сети с двойным стеклом (IPv4 / IPv6)

Каталог ~/.ssh ДОЛЖЕН быть владельцем пользователя, а не root. Поэтому измените это, и оно будет работать.

Во избежание ввода ключевой фразы для вашего закрытого ключа каждый раз, когда вы используете ssh-agent. ssh-add .ssh/id_rsa добавит ключ к агенту, после чего агент предоставит ключ ssh.