Как мне получить pyspark на Ubuntu?

pyspark привязка Python к программе искры, записанной в Scala.

, пока у Вас есть Java 6 + и Python 2.6 +, можно загрузить предварительно созданные двоичные файлы для искры от загрузка страница. Удостоверьтесь, что java и python программы находятся на Вашем PATH или что JAVA_HOME переменная среды установлена. Выполните эти шаги для начала работы;

1. Разархивировали и перемещают разархивированный каталог в рабочий каталог:

   tar -xzf spark-1.4.0-bin-hadoop2.6.tgz

   mv spark-1.4.0-bin-hadoop2.6 /srv/spark-1.4.8

2. Символьная ссылка версия Spark к spark каталог:

   ln -s /srv/spark-1.4.8 /srv/spark

3. Редактирование ~/.bash_profile использование Вашего любимого текстового редактора и добавляет Spark к Вашему PATH и установило SPARK_HOME переменная среды:

   export SPARK_HOME=/srv/spark

   export PATH=$SPARK_HOME/bin:$PATH

Теперь необходимо быть в состоянии выполнить pyspark путем выполнения команды pyspark в терминале.

Некоторые ссылки:

https://spark.apache.org/docs/0.9.0/python-programming-guide.html

https://districtdatalabs.silvrback.com/getting-started-with-spark-in-python

pyspark доступно через pypi.

Так все необходимо установить pyspark, pip, и выполните следующую команду.

pip install pyspark или sudo pip install pyspark