Установка Spark на Hadoop 2.5

Я запускаю Hadoop в Ubuntu на виртуальной машине Oracle в Windows 7. Я пытаюсь установить Spark в существующей установке Hadoop. В демонстрационных целях я не хочу менять существующую версию Hadoop. Ниже приведены версии программного обеспечения в моей виртуальной машине.

Убунту: 14.04

Java: среда выполнения Java 1.7 и OpenJDK (IcedTea 2.5.2)

Hadoop: 2.5.0

Я понял, что для Hadoop мне нужно установить Spark 1.6.2. Когда я пытаюсь загрузить Spark 1.6, он не дает мне возможности для Hadoop 2.5, но имеет опции для 2.4 и 2.6. Будет ли Spark 1.6 работать на Hadoop 2.4?

Я хотел бы знать соответствующие требования платформы для Spark, Scala и Java для установки Spark на Hadoop 2.5.

Источник

1 ответ

Вы можете собрать spark для любой версии hadoop, установив maven и выполнив следующие шаги:

  1. Скачать исходный код искры.

  2. Запустите следующие команды:

    tar -xvzf spark-1.6.2.tgz

    cd spark-1.6.2

    mvn -Pyarn -Phadoop-2.5 -Dhadoop.version=2.5.0 -DskipTests clean package

Источник
Другие вопросы по тегам