Как безопасно разрешить доступ ssh к моему серверу другим человеком (для доступа к svn repo)

В настоящее время мой сервер находится во внутренней сети и используется только мной, однако я хочу создать новый репозиторий subversion и разрешить внешним пользователям обращаться к нему. Они должны быть ограничены доступом к svn и не разрешены делать что-либо еще. Они будут обращаться к нему по протоколу svn + ssh.

Ниже приведены шаги, которые, как я полагаю, следует принять, но какие еще шаги я должен предпринять?

Предположительно, они все равно смогут SSH, а затем загружать файлы из Интернета, открывать порты, устанавливать бэкдоры, читать файлы конфигурации сервера ... и т. д.

Обратите внимание, что я сосредоточен здесь на авторизованных пользователях , Я уже прочитал этот вопрос о предотвращении несанкционированного доступа