hadoop

C'è una domanda qui connetti da java a Hive ma la mia è diversa Il mio hive è in esecuzione su machine1 e ho bisogno di pa ... ver sono alla macchina 1. Sulla macchina il codice dovrebbe almeno compilare e dovrei avere problemi solo in fase di runtime!

Sono nuovo di hdfs. Sto scrivendo client Java in grado di connettersi e scrivere dati sul cluster hadoop remoto. String hdfs ... /property> Come posso usare questa classe nel mio client java o c'è un altro modo per identificare il namenode attivo...

Faccio due lavori MapReduce e voglio che il secondo lavoro sia in grado di scrivere il mio risultato in due file diversi, in ... t è solo una parola che descrivono. Si definisce il percorso effettivamente nel metodo write, la Stringa baseOutputPath arg.

Sto scrivendo un'utilità Java che deve accedere al DFS, quindi ho bisogno di un oggetto Configuration. Quando ne creo uno sem ... igurazione come risorse, ma non cambia niente. Cosa devo fare per farlo prendere l'HDFS impostazioni? Grazie per aver letto

Qualcuno può dire che è necessario conoscere java per imparare hadoop? Se qualcuno sta lavorando su hadoop quindi si prega di ... nza tra hdfs e gfs? So che ci sono molte domande ma se qualcuno può aiutare.. Sarà fantastico per me. Grazie mille ragazzi.

Sto usando hive-0.12.0,pig-0.12.0,mysql-5.6 e hadoop-1.2.1 in modalità pseudo distribuzione. Ho configurato PIG_CLASSPATH ec ... phadoop / pig_1397158893348.registro Qualcuno ha riscontrato lo stesso errore e lo ha risolto? Per favore lasciami sapere.

Sto imparando a lavorare sul cluster hadoop. Ho lavorato per qualche tempo su hadoop streaming dove ho codificato gli script ... l.edu/hadoop/wordcount.html Qualcuno può dirmi come devo effettivamente compilare questo programma ed eseguire il lavoro.

Ho creato un cluster hadoop con 1 Master e 2 Slave. Lo sto eseguendo con specifiche minime nel sito*.file xml. nucleo-sito.x ... ter-1 Qualcuno ha idea di quale potrebbe essere il problema? Qualsiasi aiuto o possibili indicazioni sarà molto apprezzato.

Sto cercando di configurare diversi tipi di output mapper e reducer utilizzando setMapOutputKeyClass, setMapOutputValueClass, ... ava:606) at org.apache.hadoop.util.RunJar.main(RunJar.java:160) Ho fatto qualcosa di sbagliato? Grazie per il vostro aiuto!

Ho appena eseguito un programma di esempio seguendo il tutorial : http://web.stanford.edu/class/cs246/homeworks/tutorial.pd ... oadClass(ClassLoader.java:358) ... 13 more Come risolvere il problema in modo da poter compilare il programma ? Grazie!

Quindi dal sito web di Hadoop tutorial (http://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client ... ])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } }

Dopo aver letto Hadoop speculative task execution Sto cercando di disattivare l'esecuzione speculativa utilizzando la nuova a ... .conf.Configuration.deprecation (main): mapred.job.classpath.files is deprecated. Instead, use mapreduce.job.classpath.files

Ciao sto cercando di leggere un file memorizzato sul bucket GCS utilizzando il lavoro spark standalone in java. ho configurat ... usato tutte le sue librerie in eclipse. Qualsiasi aiuto sarebbe molto apprezzare. Non sono in grado di andare avanti. Grazie.

Sto affrontando problemi durante il tentativo di leggere un file da HDFS (Hortonworks Sandbox) utilizzando l'API Java. Di seg ... calhost 255.255.255.255 broadcasthost ::1 localhost 172.17.0.2 sandbox.hortonworks.com localhost

Chiedendosi quali sono le relazioni tra i due parametri (mapreduce.mappa.memoria.mb e mapreduce.mappa.Java.opts), e a volte v ... pa.Java.opta per essere -Xmx4G -Xms4G -server, chiedendosi quali sono i limiti superiori in questo caso? Grazie. Saluti, Lin

Ecco il codice per accedere a HDFS package myDefaultPackage; Importazione java.io. ; importa org.Apache.hadoop.FS.; ... lesystem.get (FileSystem.java: 158) a Il mio pacchetto di default.Testing_HDFS_File.principale (Testing_HDFS_File.java:15)

Ho un file jar esportato da Eclipse (JAR eseguibile>>Copia le librerie richieste in una sottocartella). In java se si ... class java Avviso: se rimuovo "hadoop" da " hadoop java-cp MyTest.argomenti jar MyOtherMainClass " si avvierà normalmente

Voglio accedere a Drill attraverso un'interfaccia di programmazione. La documentazione di Apache Drill menziona solo le sue l ... lo scopo di quello che voglio fare. Qualcuno ha idea di dove posso trovare di più su queste API e se sono effettivamente lì?

Sto testando l'hbase . sto usando uno standalone senza hadoop. ho usato la versione hbase 0.90.6 il codice ha funzionato bene ... slf4j-log4j12-1.5.8.jar commons-net-1.4.1.jar stax-api-1.0.1.jar guava-r09.jar zookeeper-3.4.3.jar

Voglio riparare la tabella hive per tutte le partizioni appena aggiunte/eliminate.Invece di eseguire manualmente il comando d ... e().getTable("anshu","mytable").getAllPartitions()); C'è un modo per aggiungere / rimuovere partizioni in hive usando java?