Как получить доступ к pyspark у анаконды, установленной в другом пользователе?
У меня есть два пользователя user1 и user2 с последним одно полномочие пользователя root наличия. Я установил искру и hadoop в user2.
Теперь я установил Anaconda2 на user1 и когда я пытаюсь выполнить свое задание на jupyter ноутбуке, это дает мне ошибку никакой модуль, названный pyspark.
Так, действительно ли я могу получить доступ к pyspark от user1?
1 ответ
Удостоверьтесь, что user2 имеет переменную среды SPARK_HOME, настроенную, в противном случае устанавливает его. Если Вы установили SPARK_HOME для всех пользователей, должен, получение доступ к SPARK_HOME не должно быть проблемой для user2. После того как SPARK_HOME является переменным, настроен, добавьте следующий сценарий в первой ячейке ноутбука Jupyter и после того, как эта ячейка выполняется, необходимо смочь использовать sparkContext (кв/см).
# Configure the necessary Spark environment
import os
import sys
spark_home = os.environ.get('SPARK_HOME', None)
sys.path.insert(0, spark_home + "/python")
# Add the py4j to the path.
# You may need to change the version number to match your install
sys.path.insert(0, os.path.join(spark_home, 'python/lib/py4j-0.8.2.1-src.zip'))
# Initialize PySpark to predefine the SparkContext variable 'sc'
execfile(os.path.join(spark_home, 'python/pyspark/shell.py'))