Поскольку ошибка, отсутствующая в завершении] для символьного класса, уже говорит, проблема здесь связана с [, которую вам нужно избежать. В противном случае это понимается как класс символов grep.
Кроме того, вы говорите //, в то время как вы хотите использовать / вместо \ в соответствии с вашим вводом.
Все вместе, это печатает набор слов после [Om/:
$ echo '[Om/mystring' | \grep -oP '(?<=\[Om\/)\w+'
mystring