У вас должен быть пустой каталог для работы rmdir.
Типичным способом рекурсивного удаления каталога и всего его содержимого является команда rm -r, где -r является короткой для рекурсивной.