Установка Spark на Hadoop 2.5

Я выполняю Hadoop на Ubuntu на VM Oracle в Windows 7. Я пытаюсь установить Spark на существующей установке Hadoop. В демонстрационных целях я не хочу изменять существующую версию Hadoop. Следующее является версиями программного обеспечения в моем VM.

Ubuntu: 14.04

Java: Java 1.7 и среда выполнения OpenJDK (IcedTea 2.5.2)

Hadoop: 2.5.0

Я выяснил, что для Hadoop должен установить Spark 1.6.2. Когда я пытаюсь загрузить Spark 1.6, он не дает мне опцию для Hadoop 2.5, но имеет опции для 2,4 и 2.6. Spark 1.6 будет работать над Hadoop 2.4?

Я хотел бы знать, что соответствующие требования платформы для Spark, Scala и Java устанавливают Spark на Hadoop 2.5.

0
задан 2 November 2017 в 05:41

1 ответ

Вы можете собрать spark для любой версии hadoop, установив maven и выполнив следующие шаги:

  1. Загрузите исходный код spark.
  2. Выполнить следующие команды:

    tar -xvzf spark-1.6.2.tgz

    cd spark-1.6.2

    mvn -Pyarn -Phadoop-2.5 -Dhadoop.version=2.5.0 -DskipTests clean package

0
ответ дан 1 November 2019 в 23:58

Другие вопросы по тегам:

Похожие вопросы: