Разрешить SSH доступ к определенному пользователю, если IP соответствует одному в файле

Мне нужно разрешить SSH доступ к моему серверу на user_a, с любого IP-адреса и до user_b, только если IP-адрес находится в файле - /etc/remote-hosts. В настоящее время в /etc/ssh/sshd_config я добавил:

Это позволяет обоим пользователям подключаться с любого адреса. [D1] Я знаю, что могу написать что-то вроде:

Это для назначения, однако, и мне было сказано, что IP-адреса должны быть в файле /etc/remote-hosts.

У меня такое чувство, что это может быть достигнуто с помощью PAM, но я огляделся и не нашел решения.