В дополнение к ответу @ muru вы можете отключить опцию bash interactive_comments:
shopt -u interactive_comments
Теперь вы можете cd начать с каталога с # в обычном режиме:
$ cuonglm at /tmp $ cd #asd $ cuonglm at /tmp/#asd $ pwd /tmp/#asd