Как удалить каталоги с номерами в качестве имен файлов в Ubuntu с помощью командной строки?

У меня есть каталог, в котором есть подкаталоги с номерами в качестве каталогов. Например, у меня есть родительский каталог test, теперь у меня есть несколько подкаталогов, таких как 1,2,3,4,5,6,7. Теперь у меня есть локальная экспортируемая переменная, например export a=3. Я хочу удалить каталоги, которые выше или равны $a и ниже или равны $a+3, поэтому я хочу удалить файлы 4,5. Как я могу добиться этого в Ubuntu 18.04.6 LTS.

Я попробовал rm -rf {$a..$($a+3)}, это не сработало, я пробовал много других вещей, но безуспешно.