Я выполняю Hadoop на Ubuntu на VM Oracle в Windows 7. Я пытаюсь установить Spark на существующей установке Hadoop. В демонстрационных целях я не хочу изменять существующую версию Hadoop. Следующее является версиями программного обеспечения в моем VM.
Ubuntu: 14.04
Java: Java 1.7 и среда выполнения OpenJDK (IcedTea 2.5.2)
Hadoop: 2.5.0
Я выяснил, что для Hadoop должен установить Spark 1.6.2. Когда я пытаюсь загрузить Spark 1.6, он не дает мне опцию для Hadoop 2.5, но имеет опции для 2,4 и 2.6. Spark 1.6 будет работать над Hadoop 2.4?
Я хотел бы знать, что соответствующие требования платформы для Spark, Scala и Java устанавливают Spark на Hadoop 2.5.
Вы можете собрать spark для любой версии hadoop, установив maven и выполнив следующие шаги:
Выполнить следующие команды:
tar -xvzf spark-1.6.2.tgz
cd spark-1.6.2
mvn -Pyarn -Phadoop-2.5 -Dhadoop.version=2.5.0 -DskipTests clean package