Я рекомендую посмотреть на fail2ban, чтобы сделать это для вас:
https://help.ubuntu.com/community/Fail2ban
(Кроме того, да, я бы просто сделал новая установка, особенно если они получили доступ root.)