Публикации по теме 'hadoop'
Как установить Hadoop на MacBook M1 или M2 без Homebrew или виртуальной машины
В этой статье я проведу вас через простую установку Hadoop на ваш локальный MacBook M1 или M2. Я буду использовать MacBook Air M1 (arm64) 2020 года с 8 ГБ памяти и MacOS Ventura 13.2.1. Давайте начнем!
Прежде чем мы начнем, я уверен, что вы уже знакомы с основной терминологией экосистемы Hadoop. Кроме того, подтвердите, что ваш MacBook M1 или M2 соответствует следующим характеристикам:
MacBook M1 или M2 с MacOS Ventura 13.2.1 или выше. Не менее 8 ГБ памяти (ОЗУ) для обеспечения..
Вопросы по теме 'hadoop'
Узел имени находится в безопасном режиме. Не могу уйти
root# bin/hadoop fs -mkdir t
mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode.
не могу ничего создать в hdfs
я сделал
root# bin/hadoop fs -safemode leave
Но...
209413 просмотров
schedule
06.04.2024
Пряжа NodeManager и ResourceManager в одном узле
(По умолчанию) Есть ли «диспетчер узлов» в том же узле, что и «менеджер ресурсов» в Hadoop Yarn? Если нет, можно ли запустить их на одном узле?
3764 просмотров
schedule
22.04.2024
Не удалось импортировать Sqoop в HBase с большим набором данных
У меня проблемы с импортом в HBase, используя большой набор данных с sqoop, около 5 миллионов записей. Задание mapreduce запускается, но примерно через 30% останавливается. Затем возвращается следующее сообщение об ошибке.
Я огляделся и нашел эту...
959 просмотров
schedule
30.04.2024
Улей: вставьте в таблицу куста столбец, используя select 1
Допустим, у меня есть таблица куста test_entry со столбцом с именем entry_id.
hive> desc test_entry;
OK
entry_id int
Time taken: 0.4 seconds, Fetched: 1 row(s)
Предположим, мне нужно вставить одну строку в эту таблицу выше,...
1983 просмотров
schedule
11.04.2024
Отказоустойчивость Apache Kylin
Apache Kylin выглядит как отличный инструмент, который удовлетворит потребности многих специалистов по данным. Это тоже очень сложная система. Мы разрабатываем собственное решение с той же целью - многомерный куб OLAP с низкой задержкой запросов....
809 просмотров
schedule
14.04.2024
Исключение в потоке main org.apache.hadoop.mapreduce.lib.input.InvalidInputException: путь ввода не существует: hdfs:host/user/yogesh/WordCount
Я создал входной текстовый файл test.txt и поместил его в HDFS как /user/yogesh/Input/test.txt.
Создан выходной путь на HDFS как /user/yogesh/Output
Создал файл jar на локальном /home/yogesh/WordCount.jar и отправил задание MR из локального,...
1667 просмотров
schedule
06.04.2024
YARN не распознает увеличенные значения «yarn.scheduler.maximum-allocation-mb» и «yarn.nodemanager.resource.memory-mb».
Я работаю с докеризованным кластером pyspark, который использует пряжу. Чтобы повысить эффективность конвейеров обработки данных, я хочу увеличить объем памяти, выделяемой исполнителям pyspark и драйверу.
Это делается путем добавления следующих...
186 просмотров
schedule
13.04.2024
