Вопросы по теме 'mapreduce'

MapReduce — записываемые компараблесы
Я новичок в Java и Hadoop. Я пробую очень простую программу для получения частых пар. e.g. Input: My name is Foo. Foo is student. Intermediate Output: Map: (my, name): 1 (name ,is): 1 (is, Foo): 2 // (is, Foo) =...
987 просмотров
schedule 24.05.2024

Как вручную определить разделение ввода для функции сопоставления в Hadoop
У меня есть текстовый файл, который я хочу проанализировать с помощью уменьшения карты. Файл имеет следующий формат: <main node> <type 1> --data-- <type 2> ---data . . . <type n> --data </main node> <main...
272 просмотров
schedule 22.05.2024

Исключение в потоке main org.apache.hadoop.mapreduce.lib.input.InvalidInputException: путь ввода не существует: hdfs:host/user/yogesh/WordCount
Я создал входной текстовый файл test.txt и поместил его в HDFS как /user/yogesh/Input/test.txt. Создан выходной путь на HDFS как /user/yogesh/Output Создал файл jar на локальном /home/yogesh/WordCount.jar и отправил задание MR из локального,...
1667 просмотров
schedule 06.04.2024