блокировать dnsmasq для внешних IP-адресов

Я установил dnsmasq на vps, чтобы он работал как DNS-сервер.

Я не хочу тратить сервер dns и хочу, чтобы сервер dns использовался только для определенных статических внешних IP-адресов.

Я попытался сделать это с помощью iptables, но он загружает CPU. Есть ли конфигурация в dnsmasq, которую я мог бы попробовать?