Как получить доступ к pyspark в анаконде, установленной у другого пользователя?

У меня есть два пользователя user1 и user2, последний из которых имеет права суперпользователя. Я установил spark и hadoop в user2.

Теперь я установил Anaconda2 на user1, и когда я пытаюсь запустить свою работу на ноутбуке jupyter, он выдает ошибку, нет модуля с именем pyspark.

Итак, могу ли я получить доступ к pyspark от user1?

Источник

1 ответ

Убедитесь, что для user2 настроена переменная среды SPARK_HOME, если нет, установите ее. Если вы установили SPARK_HOME для всех пользователей, доступ к SPARK_HOME не должен быть проблемой для user2. После настройки переменной SPARK_HOME добавьте следующий скрипт в первую ячейку записной книжки Jupyter, и после ее выполнения вы сможете использовать sparkContext(sc).

# Configure the necessary Spark environment
import os
import sys

spark_home = os.environ.get('SPARK_HOME', None)
sys.path.insert(0, spark_home + "/python")

# Add the py4j to the path.
# You may need to change the version number to match your install
sys.path.insert(0, os.path.join(spark_home, 'python/lib/py4j-0.8.2.1-src.zip'))

# Initialize PySpark to predefine the SparkContext variable 'sc'
execfile(os.path.join(spark_home, 'python/pyspark/shell.py'))
Источник
Другие вопросы по тегам