Установка Spark Cluster

Question

Установка Spark Cluster

Я следую этому руководству, чтобы установить спарк кластер. http://arnesund.com/2015/09/21/spark-cluster-on-openstack-with-multi-user-jupyter-notebook/

Я вручную копирую и вставляю все команды, так как столкнулся с несколькими проблемами, используя cloud-init.

Я не могу выполнить следующие команды из учебника:

Скачайте и распакуйте Spark

 curl -o /tmp/spark-$SPARK_VERSION-bin-hadoop1.tgz http://$APACHE_MIRROR/spark/spark-$SPARK_VERSION/spark-$SPARK_VERSION-bin-hadoop1.tgz
 tar xvz -C /opt -f /tmp/spark-$SPARK_VERSION-bin-hadoop1.tgz
 ln -s /opt/spark-$SPARK_VERSION-bin-hadoop1/ /opt/spark
 chown -R root.root /opt/spark-$SPARK_VERSION-bin-hadoop1/*

Вы можете посмотреть на эти команды по вышеупомянутой ссылке.

Любая помощь или предложение будут оценены. Спасибо!

1

14.04 openstack cluster

Источник

Saim Mehmood 22 ноя '15 в 11:56

1 ответ

Решение

Другие вопросы по тегам 14.04 openstack cluster

Gayan Weerakutti 22 ноя '15 в 12:21 2015-11-22 12:21 · Accepted Answer · 2015-11-22 12:21

$SPARK_VERSION, $APACHE_MIRROR являются переменными среды, поэтому просто скопируйте вставку, поскольку отдельные команды не будут работать.

Учебник, который вы указали выше, посвящен настройке кластера Spark на виртуальных машинах OpenStack.

Сначала напишите bash-скрипт, как показано в руководстве. (Init-spark-master.sh)

Тогда просто выполните это.

ОБНОВИТЬ--

Если вы заранее не установите переменные окружения, вы должны выполнить полные команды.

Например,curl -o /tmp/spark-apache.uib.no-bin-hadoop1.tgz http://apache.uib.no/spark/spark-1.5.0/spark-1.5.0-bin-hadoop1.tgzбудет работать без проблем.