python3: невозможно открыть файл «записная книжка»: ошибка 2 нет такого файла или каталога
У меня возникли проблемы с запуском Spark в записной книжке Jupyter. У меня установлены следующие переменные в /.bashrc
export SPARK_HOME=~/Development/Spark/spark-2.4.4-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$PATH
export PATH=~/anaconda3/bin:$PATH
export PATH=$PATH:~/.local/bin/
export PYTHONPATH=$SPARK_HOME/python:$PYTHONPATH
export PYSPARK_DRIVER_PYTON=ipython
export PYSPARK_DRIVER_PYTHON_OPTS='notebook' pyspark
export PYSPARK_PYTHON=python3
Когда я набираю pyspark, я получаю сообщение об ошибке
python3: не могу открыть файл 'notebook': errno 2 нет такого файла или каталога
Для меня 'jupyter блокнот »открывает блокнот в браузере.
Как я могу это исправить?
1 ответ
TL;DR Убедитесь, что переменные среды
PYSPARK_DRIVER_PYTHONиPYSPARK_PYTHONне установлены в spark-env.sh.
Я столкнулся с похожей проблемой после настройки Spark с помощью книги перед прохождением курса Pyspark Udemy.
После изучения StackOverflow и устранения неполадок выяснилось, что я определил переменные среды PYSPARK_DRIVER_PYTHON и PYSPARK_PYTHON как в файле ~/.bashrc, так и в spark-env.sh, как показано на рисунке. ниже.
~/.bashrc
export PYSPARK_PYTHON=~/anaconda3/bin/python
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS=notebook
spark-env.sh
PYSPARK_PYTHON=python3
PYSPARK_DRIVER_PYTHON=python3
решение для меня состояло в том, чтобы удалить строки в spark-env.sh. Затем я смог запустить блокнот jupyter, выполнив команду pyspark и используя pyspark в блокноте. Ожидается, что команда Jupyter Notebook должна открывать Jupyter Notebooks в браузере.
Надеюсь, это поможет!