IP-адрес класса C: от 192.0.0.0 до 223.255.255.255.
В этом случае параметр --connlimit-mask должен быть 192.0.0.0/3 в нотации CIDR.
Если вы укажете маска 24, она будет применяться и к классу А и классу B. Вы должны использовать CIDR-нотацию, чтобы точно указать класс.
--connlimit-mask 192.0.0.0/24