Пакеты SCP / SSH обычно имеют объемный TOS. Поэтому я думаю, вы должны поднять TOS TCP-пакетов из порта 80 с помощью iptables TOS target. Тогда стандартная tc-pfifo-fast priomap будет делать правильные вещи.
Играйте вокруг следующего:
iptables -t mangle -A PREROUTING -p tcp --sport 80 -j TOS --set-tos Maximize-Throughput
iptables -t mangle -A PREROUTING -p tcp --dport 80 -j TOS --set-tos Maximize-Throughput
Или, может быть, вам стоит попытаться настроить QOS на ваш маршрутизатор, а не на вашем сервере: измените QOS, где есть узкое место.