Установка Spark на Hadoop 2.5
Я запускаю Hadoop на Ubuntu на виртуальной машине Oracle в Windows 7. Я пытаюсь установить Spark на существующую установку Hadoop. Для демонстрационных целей я не хочу менять существующую версию Hadoop. Ниже приведены версии программного обеспечения в моей виртуальной машине.
Ubuntu: 14.04
Java: среда выполнения Java 1.7 и OpenJDK (IcedTea 2.5.2)
Hadoop: 2.5.0
Я понял, что для Hadoop мне нужно установить Spark 1.6.2. пытается установить Spark , он не дает мне возможность для Hadoop 2.5, но имеет опции для 2.4 и 2.6. Будет ли Spark 1.6 работать с Hadoop 2.4?
Я хотел бы знать, какие требования платформы для Spark, Scala и Java для установки Spark на Hadoop 2.5.
2 ответа
Вы можете построить искру для любой версии hadoop, установив maven и выполнив следующие шаги:
Загрузите исходный код искры. Выполните следующие команды: tar -xvzf spark-1.6.2.tgz cd spark-1.6.2 mvn -Pyarn -Phadoop-2.5 -Dhadoop.version=2.5.0 -DskipTests clean packageВы можете построить искру для любой версии hadoop, установив maven и выполнив следующие шаги:
Загрузите исходный код искры. Выполните следующие команды: tar -xvzf spark-1.6.2.tgz cd spark-1.6.2 mvn -Pyarn -Phadoop-2.5 -Dhadoop.version=2.5.0 -DskipTests clean package