В этом конкретном случае вы также можете использовать find:
find . -maxdepth 1 -type -d -exec rm -rf {} \;