Мое решение
agentAddress udp:161
...
# rocommunity public default -V systemonly
rocommunity public 172.25.7.169/32
... и перезагрузка snmp
Это позволяет snmp слышать на всех интерфейсах, но отвечать только на 172.25.7.169 (мой мониторный сервер)