hadoop
Exception lors de la lecture d'un fichier à partir de HDFS (Hortonworks Sandbox) à l'aide de l'API Java
Je rencontre des problèmes en essayant de lire un fichier à partir de HDFS (Hortonworks Sandbox) en utilisant l'API Java. Voi ... calhost
255.255.255.255 broadcasthost
::1 localhost
172.17.0.2 sandbox.hortonworks.com localhost
Paramètre Hadoop mapreduce.cartographie.mémoire.mo et mapreduce.cartographie.Java.opter
Vous vous demandez quelle est la relation entre les deux paramètres (mapreduce.cartographie.mémoire.mo et mapreduce.cartograp ... oisit d'être -Xmx4G -Xms4G -server, se demandant quelles sont les limites supérieures dans ce cas? Grâce.
Cordialement,
Lin
Accéder au HDFS à partir d'eclipse à l'aide de java
Voici le code pour accéder au HDFS
package myDefaultPackage;
Importer java.io. ; importer l'organisation.Apache.hado ... de fichiers.get (système de fichiers.java:158) à
myDefaultPackage.Testing_HDFS_File.principale(Testing_HDFS_File.java:15)
comment exécuter une classe à partir d'un fichier jar java sur Hadoop?
J'ai un fichier jar exporté depuis Eclipse (JAR exécutable>>Copier les bibliothèques requises dans un sous-dossier).
E ... ava
Remarque: si je supprime "hadoop" de "hadoop java-cp MyTest.jar MyOtherMainClass arguments " il se lancera normalement
API Java ou C++ pour Apache Drill
Je veux accéder à Drill via une interface de programmation. La documentation Apache Drill mentionne simplement ses bibliothèq ... ce que je veux faire. Est-ce que quelqu'un a une idée où je peux en trouver plus sur ces API et si elles sont réellement là?
Problème lors de l'utilisation du client java hbase lors de la mise en place de données dans la base de données
Je teste le hbase . j'utilise un autonome sans hadoop. j'ai utilisé la version hbase 0.90.6 le code a bien fonctionné et j'ai ... slf4j-log4j12-1.5.8.jar
commons-net-1.4.1.jar stax-api-1.0.1.jar
guava-r09.jar zookeeper-3.4.3.jar
Réparation de la table hive à l'aide de hiveContext en java
Je veux réparer la table hive pour toutes les partitions nouvellement ajoutées/supprimées.Au lieu d'exécuter manuellement la ... anshu","mytable").getAllPartitions());
Existe-t-il un moyen d'ajouter/supprimer des partitions dans hive en utilisant java?
Comment définir le schéma parquet pour ParquetOutputFormat pour le travail Hadoop en java?
J'ai un travail Hadoop en java, qui a le format de sortie de séquence:
job.setOutputFormatClass(SequenceFileOutputFormat.cl ... e clé et org.apache.mahout.cf.taste.hadoop.EntityEntityWritable comme un valeur.
Comment puis-je définir un schéma pour qui?
Définir le filtre de ligne de préfixe multiple sur scanner hbase java
Je veux créer un scanner qui me donnera un résultat avec 2 filtres de préfixe
Par exemple, je veux toutes les lignes dont la ... îne"y".
Actuellement, je ne sais le faire qu'avec un préfixe de la manière suivante:
scan.setRowPrefixFilter(prefixFiltet)
Hadoop mapreduce exemple de documentation
Où puis-je trouver une documentation détaillée pour les exemples de programmes mentionnés ci-dessous, je ne peux pas le trouv ... ort
teravalidate: Checking results of terasort
wordcount: A map/reduce program that counts the words in the input files.
Java Hadoop insertion et requête de grandes données au format JSON
J'ai besoin de construire un système avec Java et Hadoop pour gérer le traitement de données volumineuses (au format JSON). L ... que Hadoop MapReduce prenne les données d'entrée d'un autre outil que je vais utiliser?
Veuillez conseiller.
Merci beaucoup
Programme Java MapReduce pour travailler sur des fichiers PDF
J'ai besoin d'analyser un fichier PDF dans un programme mapreduce en utilisant Java. Je suis sur une configuration de cluster ... able(FileSystem fs, Path filename) {
return false;
}
}
Appréciez toute aide ou pointeurs sur ce qui me manque ici.
Compiler et exécuter dynamiquement un travail Hadoop à partir d'un autre fichier Java
J'essaie d'écrire un fichier Java qui reçoit le code source d'un travail MapReduce, le compile dynamiquement et exécute le tr ... able value : values) {
sum += value.get();
}
context.write(key, new IntWritable(sum));
}
}
}
Entrée de fichier Hadoop Big Data PDI à partir de Java
J'essaie d'exécuter un kjb kettle qui a une entrée de fichier hadoop et une sortie de fichier hadoop. Tout ce que j'essaie de ... e que je dois définir lors de l'exécution du travail à partir de java afin de le faire fonctionner à partir de java ?
Merci
installation du JDK Java 32 bits sur CentOS 6.5 32 bits
J'essaie de wget d'installer 32 bits JDK sur 32 bits CentOS 6.5. CentOS s'exécute sur une machine virtuelle vmware Player dan ... ect to edelivery.oracle.com insecurely, use ‘--no-check-certificate’.
Comment installer JDK via le terminal CentOS? Grâce.
Comment échapper à la barre oblique en java afin de l'utiliser dans path
J'essaie d'échapper une barre oblique dans une chaîne qui peut être utilisée dans path en utilisant Java.
Par exemple: Strin ... " comme séparateur de chemin, ce dont je n'ai pas besoin dans certains cas.
/ zookeeper / HellowWorld/Test / Monde
Merci
Comment lire une phrase au lieu d'une ligne avec WordCount MapReduce tutorial
J'apprends Hadoop MapReduce et je suis le WordCount tutorial.
Dans le morceau de code suivant, je comprends que la méthode ... t.setOutputPath(job, new Path(args[1]));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}
Où ai-je tort?
Triés Hadoop WordCount Java
J'exécute le programme WordCount de Hadoop en Java et mon premier travail (obtenir tous les mots et leur nombre) fonctionne b ... Format Counters
Bytes Read=1528889
Merci pour votre temps et votre aide !
Modifier Global: nouvelle api utilisée
Création d'un exemple java Hadoop
Je sais que cette question a déjà été posée mais je n'arrive pas à la comprendre. J'ai une configuration de cluster à nœud u ... space de travail eclipse et ajouté l'externe .les bocaux dans les paramètres du projet. Toute idée de ce que je fais de mal?
Exécuter le travail MapReduce à partir d'une application Web
En référence à des questions similaires:
Exécution d'un travail Hadoop À partir d'un autre programme Java
et
Appeler un tra ... me>
<value>*</value>
<description></description>
</property>