Как предотвратить вход в систему через ssh как мой внутренний пользователь?

Привет, я вроде newb в ssh, но я настраиваю домашний сервер на ноутбуке. У меня есть пользователь, называемый, например. USERBRUNO с требуемой аутентификацией пароля. Проблема в том, что если мой друг сделает ssh USERBRUNO @ myip, он может войти в систему и написать и прочитать мои файлы, не имея при этом никакой аутентификации с паролем USERBRUNO или любым вообще. Я использую метод аутентификации RSA. Я добавил его ключ. У меня есть правильные (надеюсь) конфиги в sshd_config, такие как

PasswordAuthentication YES 
RootLogin NO
StrictModes YES

Мне действительно нужно повесить на это. Спасибо.