Проблема с ключом SSH для Ubuntu Server 18.04

У меня странная проблема с ключами SSH на моем ПК с Ubuntu 18.04 Server. Сервер - это просто компьютер, который подключен к моему основному маршрутизатору дома.

Недавно я отключил аутентификацию по паролю SSH на сервере для повышения безопасности, и поэтому я сгенерировал ключи SSH для своих клиентских ПК и перенес их на сервер, используя ssh-copy-id user@ip (до отключения аутентификации по паролю). Это работало нормально, пока мне не пришлось перезагружать сервер, после чего я продолжаю получать ошибку Permission denied (publickey).

Странная часть в том, что если я подключаю серверный ПК к тому же сетевому сетевому адаптеру, что и мой клиентский ПК, который напрямую подключен к основному маршрутизатору, он работает нормально, но как только я перевожу его обратно на основной маршрутизатор выдает ту же ошибку.

Кто-нибудь знает, что может быть причиной этого?

Редактировать:

Таким образом, выясняется, что проблема не связана с адаптером питания. Сервер не принимает SSH, если я не выполнил вход один раз на сервере, после чего он работает нормально. Но я до сих пор не могу понять, как решить эту проблему: (