Установка Spark Cluster

Question 1

Я следую этому уроку, чтобы установить спарк кластер. http://arnesund.com/2015/09/21/spark-cluster-on-openstack-with-multi-user-jupyter-notebook/

Я вручную копирую, вставляя все команды, как я столкнулся с парой проблем, используя cloud-init.

Я не могу выполнить следующие команды из учебника:

Скачать и распаковать Spark

 curl -o /tmp/spark-$SPARK_VERSION-bin-hadoop1.tgz http://$APACHE_MIRROR/spark/spark-$SPARK_VERSION/spark-$SPARK_VERSION-bin-hadoop1.tgz
 tar xvz -C /opt -f /tmp/spark-$SPARK_VERSION-bin-hadoop1.tgz
 ln -s /opt/spark-$SPARK_VERSION-bin-hadoop1/ /opt/spark
 chown -R root.root /opt/spark-$SPARK_VERSION-bin-hadoop1/*

Вы можете получить посмотрите на эти команды из вышеупомянутой ссылки.

Любая помощь или предложение будут оценены. Спасибо!

Question 2

$SPARK_VERSION, $APACHE_MIRROR переменные среды так просто вставка копии, как отдельные команды не будут работать.

учебным руководством, на которое Вы указали выше, является об установке кластера Spark на OpenStack VMs.

Первая запись сценарий удара как показано в в учебном руководстве. (init-spark-master.sh)

Тогда просто выполнение его сделает.

ОБНОВЛЕНИЕ -

, Если Вы не устанавливаете переменные среды заранее, необходимо выполнить полные команды.

, Например, curl -o /tmp/spark-apache.uib.no-bin-hadoop1.tgz http://apache.uib.no/spark/spark-1.5.0/spark-1.5.0-bin-hadoop1.tgz работал бы без любой проблемы.

Gayan Weerakutti · Answer 1 · 23 November 2015 в 03:20