Как отключить вход в систему ssh для всех пользователей кроме одного?

У меня Есть сервер человечности 16.04, работая localhost. Я хочу отключить вход в систему ssh для всех пользователей кроме john. Я попробовал все ответы и комментарии, добавленные здесь, ничто не работает. Например,

Match User !john
PasswordAuthentication no

Я поместил его в конце /etc/ssh/ssh_config, никакие пустые строки после него, и я перезапускаю сервер sudo service ssh restart. Ничто не работает.