Предоставьте доступ SSH определенному пользователю, если IP соответствует один в файле

Я должен предоставить доступ SSH к своему серверу к user_a, от любого IP-адреса, и к user_b, только если IP-адрес находится в файле - /etc/remote-hosts.
В настоящее время, в /etc/ssh/sshd_config, Я добавил:

AllowUsers user_a user_b

Это позволяет обоим пользователям соединяться от любого адреса.
Я знаю, что могу записать что-то как:

AllowUsers user_a user_b@ipaddress1 user_b@ipaddress2

Это для присвоения, однако, и мне конкретно сказали, что IP-адреса должны быть в /etc/remote-hosts файл.

У меня есть чувство, что это может быть достигнуто с PAM, но я озирался и не нашел решение.