Разрешить пользователям доступ только к указанным IP

У меня есть компьютер, который предлагает как VPN, так и SSH-сервер, работающий в трех (разделенных) VPN-сетях.

Все пользователи заходят на сервер через ssh. Однако я хочу, чтобы только определенные пользователи могли общаться с определенными IP-адресами в сетях VPN.

Например:

user peter -> только 10.100.0.4

user chris -> только 10.100.0.5

user john -> только 10.200.0. *

user nick -> все IP-адреса (10.100.0. *, 10.200.0. *, сам интернет)

Возможно ли это с помощью ufw или iptables? Я не нашел инструкций, как сделать это для конкретного пользователя.

редактировать: если быть более точным: я хочу ограничить возможности подключения самих пользователей (даже если они сидят за компьютером и входят в систему напрямую), поэтому я сомневаюсь, что это проблема, которая может быть решена (только) SSHD.

теги: переустановил iptables, так как ssh один не правильно ...