hadoop

Ho un lavoro Hadoop in java, che ha il formato di output della sequenza: job.setOutputFormatClass(SequenceFileOutputFormat. ... iave e org.apache.mahout.cf.taste.hadoop.EntityEntityWritable come chiave valore. Come posso definire uno schema per questo?

Voglio creare uno scanner che mi darà il risultato con 2 filtri prefisso Ad esempio voglio tutte le righe che la loro chiave ... n la stringa "y". Attualmente so di farlo solo con un prefisso con il seguente modo: scan.setRowPrefixFilter(prefixFiltet)

Dove posso trovare la documentazione dettagliata per i programmi di esempio menzionati di seguito, non riesco a trovarlo nell ... ort teravalidate: Checking results of terasort wordcount: A map/reduce program that counts the words in the input files.

Ho l'obbligo di creare un sistema con Java e Hadoop per gestire l'elaborazione di dati di grandi dimensioni (in formato JSON) ... op MapReduce prenderà i dati di input da altri strumenti che verranno utilizzati? Si prega di avvisare. Vi ringrazio molto

Ho bisogno di analizzare il file PDF in un programma mapreduce usando Java. Sono su una configurazione del cluster usando CDH ... System fs, Path filename) { return false; } } Apprezzo qualsiasi aiuto o suggerimento su cosa mi sto perdendo qui.

Sto cercando di scrivere un file Java che riceve il codice sorgente di un lavoro MapReduce, lo compila dinamicamente ed esegu ... able value : values) { sum += value.get(); } context.write(key, new IntWritable(sum)); } } }

Sto cercando di eseguire un kettle kjb che ha un input di file hadoop e un passo di output del file hadoop. Tutto quello che ... usare o c'è qualcos'altro che devo impostare durante l'esecuzione del lavoro da java per farlo funzionare da java ? Grazie

Sto cercando di wget per installare 32bit JDK su 32bit CentOS 6.5. CentOS è in esecuzione su una VM vmware player all'interno ... edelivery.oracle.com insecurely, use ‘--no-check-certificate’. Come posso installare JDK tramite CentOS Terminal? Grazie.

Sto cercando di sfuggire alla barra in avanti nella stringa che può essere utilizzata nel percorso usando Java. Ad esempio: ... per accetta " / " come separatore di percorso che in alcuni casi non richiedo. / zookeeper/HellowWorld/Test / Mondo Grazie

Sto imparando Hadoop MapReduce e sto seguendo il WordCount tutorial. Nel seguente pezzo di codice, capisco che il metodo map ... setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } } Dove mi sbaglio?

Sto eseguendo il programma WordCount di Hadoop in Java e il mio primo lavoro (ottenendo tutte le parole e il loro conteggio) ... ut Format Counters Bytes Read=1528889 Grazie per il vostro tempo e aiuto ! Modifica globale: nuova api utilizzata

So che questa domanda è stata posta prima, ma non riesco a capirla. Ho una configurazione del cluster a nodo singolo utilizz ... di lavoro eclipse e aggiunto l'esterno .vasi nelle impostazioni del progetto. Qualche idea su cosa sto facendo di sbagliato?

Con riferimento a domande simili: Esecuzione di un processo Hadoop da un altro programma Java e Chiamare un lavoro mapreduc ... me> <value>*</value> <description></description> </property>

Ho provato per un po ' a compilare il primo esempio dal libro sul computer del laboratorio della mia scuola, giocando con la ... ementa un metodo da un supertype @Ignorare ^ [totale 170 ms] 4 errori Qualsiasi aiuto sarebbe molto apprezzato.

Cercando di eseguire l'esempio di WordCount da cassandra e ottenendo un errore: Eccezione nel thread "principale" java.lang ... e.Metodo.invoke (Metodo.java: 597) in org.Apache.hadoop.util.RunJar.principale (RunJar.java:186) Grazie in anticipo!

Sto cercando di caricare/scrivere un file sul mio HDFS usando DFSClient in bundle con Hadoop, tuttavia non ho successo, il se ... client.close(); } if (in != null) { in.close(); } if (out != null) { out.close(); } }

Come posso trasferire un file zip da un URL a HDFS usando Java? Non dovrei scaricarlo. Posso solo trasferire il file direttamente dall'URL a HDFS. Qualcuno ha qualche idea avrebbe funzionato?

Sto cercando di usare il driver Hive nella mia classe java per interrogare il mio hdfs, ma ho colpito un muro. Ho dragato at ... ; </dependencies> </project> Errore: Java.lang.ClassNotFoundException: org.Apache.alveare.ccg.HiveDriver

Ho letto in un file di testo di doubles e l'ho memorizzato in un JavaRDD, ma ho difficoltà a implementare una moltiplicazione ... la matematica sottostante ma non sono in grado di impostare le coppie di chiavi della matrice e moltiplicarle correttamente.

La mia versione di Hadoop è-2.6.0-cdh5.10.0 Sto usando una Vm Cloudera. Sto cercando di accedere al file system hdfs attrave ... Executor$Worker.run(ThreadPoolExecutor.java:615) at java.lang.Thread.run(Thread.java:745) Qualsiasi aiuto sarà utile!