Описание тега hadoop

Описание тега Вопросы с тегом
Apache Hadoop - это программная среда, которая поддерживает распределенные приложения с интенсивным использованием данных по бесплатной лицензии. Это позволяет приложениям работать с тысячами вычислительно независимых компьютеров и петабайт данных. Hadoop был получен из документов Google MapReduce и Google File System (GFS).
1 ответ

Узел /hbase-unsecure отсутствует в ZooKeeper. Проверьте значение, настроенное в 'zookeeper.znode.parent'

Я получаю эту ошибку при запуске автономного hBase на моей машине с Ubuntu. Пожалуйста помоги. Потратил огромное количество времени, чтобы запустить его.:( Что я проверил до сих пор - / etc / hosts содержит localhost 127.0.0.1 HBase: hbase-0.98.3-ha…
20 мар '15 в 21:47
1 ответ

Переход с одного узла на несколько узлов

Я следовал за шагами установки узла узла по этой ссылке. А теперь перейдите по этой ссылке, чтобы соединить их для создания многоузлового кластера. Я в начале шагов и у меня просто вопрос, обе мои машины имеют одинаковое имя пользователя userA и у н…
07 окт '14 в 15:27
1 ответ

Как я могу настроить несколько сред MaaS для juju?

Я реализовал vMaaS с 3 vnode, где я развернул juju-gui (node1) и openstack в двух других узлах (node2,node3). Последние на данный момент находятся в состоянии готовности на vMaaS. Затем я добавил другие vnodes в vMaaS для развертывания Cassandra и h…
19 июл '14 в 23:54
2 ответа

Лучший базовый тип файловой системы и конфигурация для HDFS

Я хотел бы переформатировать раздел локального диска и превратить его в раздел для HDFS. Какая файловая система будет наиболее эффективной для работы с HDFS? Любые оптимизации, о которых я должен позаботиться для этой файловой системы? Это Ubuntu 14…
21 окт '14 в 19:05
0 ответов

Установите Cloudera и Hadoop на Ubuntu 16

Я пытаюсь найти в Интернете материалы, чтобы найти шаги или рекомендации по установке Cloudera и Hadoop. Я нашел эту и эту страницу, но никто из них не помог. Если вы знаете, пожалуйста, помогите мне в этом, так как я новичок в Ubuntu 16, а также в …
27 май '16 в 21:02
3 ответа

Каково происхождение и решение для ошибки "порт 9000: Соединение отказано"?

Я борюсь с port 9000: Connection refused ошибка. я работаю на Ubuntu 14.04 и столкнулся с проблемой при попытке запустить Hadoop в нераспределенном режиме, как отдельный процесс Java (сравните документацию Hadoop 2.4.1). Я пытался следовать рекоменд…
27 апр '15 в 09:20
1 ответ

СБОЙ: HiveException java.lang.RuntimeException: Невозможно создать экземпляр org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

Я пытаюсь запустить Hive 3.1 с Hadoop 3.0. Ниже приведена конфигурация моей системы: Ubuntu 18.04.1 LTS Hadoop version 3.0.3 Hive 3.1.0 Derby 10.14.2 Когда я выполняю таблицы показа; запрос я получаю следующую ошибку. FAILED: HiveException java.lang…
07 сен '18 в 10:04
1 ответ

Тип '--2016-08-04' неизвестен в строке 1 в списке источников /etc/apt/sources.list

Я хочу установить hadoop в моей системе Ubuntu 14.04. Следуя инструкциям блога, мне нужно обновить "список источников". Но когда я ввожу команду: sudo apt-get update Я получаю ошибки: E: Type '--2016-08-04' is not known on line 1 in source list /etc…
10 авг '16 в 13:50
1 ответ

Hadoop в Ubuntu: невозможно создать SSH без пароля

Я изучаю Hadoop и пытаюсь создать SSH без пароля, следуя процедуре, описанной в книге: Hadoop: Полное руководство Настройка SSH Псевдораспределенный режим - это особый случай полностью распределенного режима, в котором (один) хост - это localhost, п…
23 май '15 в 17:26
1 ответ

Файл mapred-site.xml отсутствует в Hadoop 2.7.0

Я установил Hadoop 2.7.0 на Ubuntu 14.04. В файле нет файла mapred-site.xml hadoop-2.7.0/etc/hadoop каталог. Но в этом каталоге есть файл mapred-site.xml.template. Оба файла одинаковы или отсутствует файл mapred-site.xml? В каталоге присутствуют фай…
14 июн '15 в 04:44
1 ответ

Файл start-mapred.sh отсутствует в Hadoop 2.7.0

Я установил Hadoop 2.7.0 на Ubuntu 14.04. start-dfs.sh,start-yarn.sh а также start-all.sh файлы находятся в каталоге sbin. Но start-mapred.sh нет в каталоге. в чем может быть проблема в моей установке?
14 июн '15 в 16:16
7 ответов

Сообщение "Команда не найдена" при выполнении команды "hadoop namenode -format"

Я следовал этому руководству для моей настройки hadoop до "Форматировать новую файловую систему Hadoop", и я получаю сообщение "Команда не найдена" при вводе hadoop namenode -format Как мне поступить?
20 июн '15 в 12:22
0 ответов

YARN в кластере EC2 не может создать каталог /logs

Я создал 3 экземпляра кластера для Hadoop 2.9.1 и настроил все свойства, как указано здесь. Когда я запускаю-all.sh, DFS запускается без каких-либо проблем, однако для YARN я получаю следующую проблему. starting yarn daemons starting resourcemanager…
12 июн '18 в 17:47
1 ответ

Я установил hadoop 2. 6 на Ubuntu 14.04 Мне нужна помощь в его запуске

У меня есть 64-битная Ubuntu 14.04, и я установил кластер с одним узлом hadoop 2.6, и все узлы работают, но когда я пытаюсь поместить образец текстового файла в hdfs, он не работает, я начал изучать hadoop, поэтому, пожалуйста, объясните это было бы…
09 апр '15 в 00:32
1 ответ

Как сделать возрождающуюся работу Hadoop Upstart?

Вы можете запустить экземпляр nodemanager, запустив yarn-daemon.sh start nodemanager, Если вы делаете выскочку работы, если это, у вас есть две проблемы: yarn-daemon.sh Сценарий будет выполняться постоянно, так как респаун проверяет, не завершился л…
24 апр '15 в 09:53
1 ответ

Ошибка в случайном порядке в сборщике #1 Hadoop

Я пытаюсь запустить пример Hadoop Pi. Он работал без проблем на одном узле. Но сейчас я работаю над мультиузлом и выдает ошибку ниже. Если кто-нибудь может, пожалуйста, сообщите. mapred-site.xml: <?xml version="1.0"?> <?xml-stylesheet type=…
11 окт '14 в 09:44
1 ответ

Информация XML для моего компьютера, устанавливающего Hadoop

Я новичок в этом. Где я могу найти информацию о моем компьютере, чтобы заменить эти общие данные XML? <property> <name>dfs.datanode.data.dir</name> <value>file:///home/hduser/hdfs/datanode</value> <description>Dat…
24 дек '14 в 19:54
0 ответов

Ошибка: java.io.IOException: сбой канала связи

Я делаю небольшой проект для достижения автозаполнения на Ubuntu. Я запускаю код в Docker с помощью hadoop. Я также использую Ampps, загруженный с http://ampps.com/download. Но у меня есть проблема, которую я не могу решить. Когда я пытаюсь записать…
08 окт '16 в 01:57
0 ответов

Команда kylin.sh

Я пытался установить Kylin и после того, как я попытался выполнить команду Kylin.sh startЯ получаю следующую ошибку. Я могу успешно запустить hadoop, hbase и hive из корня. Любое предложение приветствуется. Вот ошибка: KYLIN_HOME is set to /usr/loca…
14 окт '16 в 04:45
2 ответа

Удаление hadoop в Ubuntu 14.04, файлы / каталоги остались

Я пытаюсь полностью удалить Hadoop на своем разделе Ubuntu (14.04 Trusty Tahr) и сталкиваюсь с проблемой, которой раньше не видел. Я полностью удалил каталог, в который был установлен hadoop, и hadoop домашний каталог пользователя. Я также удалил по…
19 ноя '14 в 16:14