Hadoop, дающий ошибку “ls: Отказавший на локальном исключении: org.apache.hadoop.ipc. RpcException: ответ RPC превышает максимальную длину данных”
Люди,
Я буквально искал везде, потратил унции и унции времени. Можно ли помочь мне здесь? У меня есть Java 8 и Hadoop 2.9.1 в моей Ubuntu 14.04. После того, как я ввожу start-all.sh, сервисы действительно начинают. На самом деле, когда я ввожу jps, Я получаю следующий:-
knjayanth@knjayanth-Inspiron-3558:~/Jayanth/Hadoop/sbin$ jps
25985 Jps
25378 SecondaryNameNode
25574 ResourceManager
25160 DataNode
Однако hdfs dfs -ls управляйте возвращает ошибку как ниже:-
knjayanth@knjayanth-Inspiron-3558:~/Jayanth/Hadoop/sbin$ hdfs dfs -ls
ls: Failed on local exception: org.apache.hadoop.ipc.RpcException: RPC response exceeds maximum data length; Host Details : local host is: "knjayanth-Inspiron-3558/127.0.1.1"; destination host is: "localhost":9000;
Кто-то может быть достаточно любезным для помощи мне? Я искал экстенсивно справку, но не получение его. Любезно помогите.
2 ответа
Проверьте свои настройки хоста в core-site.xml . Я думаю, что you’ve настроил его как localhost:9000, но Ваше имя хоста knjayanth-Inspiron-3558/127.0.1.1. Измените Ваш значение fs.defaultFS в core-site.xml к knjayanth-Inspiron-3558/127.0.1.1 и перезапустите Ваш namenode.
соединение отказалось , ошибка могла состоять в том, потому что Ваш namenode сервер не работает. Можно проверить состояние namenode сервера путем выполнения команда jps. Если это работает, необходимо смочь видеть сервис Namenode в результатах jps. Если это не, то можно хотеть попробовать следующее:
- Остановка все рабочие сервисы путем выполнения остановка-all.sh сценарий
- Форматирует namenode сервер путем выполнения hadoop namenode - формат (Обратите внимание, что эта команда удаляет все хранившие данные в hdfs). Этот шаг не настолько необходим, таким образом, можно пропустить его
- , Перезапуск namenode путем выполнения запускается-dfs.sh , или запускаются-all.sh для запуска всех сервисов включая сервисы YARN
- Выполнение jps, чтобы проверить, работает ли namenode
, можно также проверить, что hdfs namenode входит в систему /var/log/hadoop/hdfs для получения большей информации о том, где проблема могла быть.
Hope это помогает.
Всего наилучшего :)