Если это помогает кому-либо, я решил свою аналогичную проблему, снова форматируя namenode:
hdfs namenode -format