hadoop

Exception lors de la lecture d'un fichier à partir de HDFS (Hortonworks Sandbox) à l'aide de l'API Java

Je rencontre des problèmes en essayant de lire un fichier à partir de HDFS (Hortonworks Sandbox) en utilisant l'API Java. Voi ... calhost 255.255.255.255 broadcasthost ::1 localhost 172.17.0.2 sandbox.hortonworks.com localhost

Paramètre Hadoop mapreduce.cartographie.mémoire.mo et mapreduce.cartographie.Java.opter

Vous vous demandez quelle est la relation entre les deux paramètres (mapreduce.cartographie.mémoire.mo et mapreduce.cartograp ... oisit d'être -Xmx4G -Xms4G -server, se demandant quelles sont les limites supérieures dans ce cas? Grâce. Cordialement, Lin

Accéder au HDFS à partir d'eclipse à l'aide de java

Voici le code pour accéder au HDFS package myDefaultPackage; Importer java.io. ; importer l'organisation.Apache.hado ... de fichiers.get (système de fichiers.java:158) à myDefaultPackage.Testing_HDFS_File.principale(Testing_HDFS_File.java:15)

comment exécuter une classe à partir d'un fichier jar java sur Hadoop?

J'ai un fichier jar exporté depuis Eclipse (JAR exécutable>>Copier les bibliothèques requises dans un sous-dossier). E ... ava Remarque: si je supprime "hadoop" de "hadoop java-cp MyTest.jar MyOtherMainClass arguments " il se lancera normalement

API Java ou C++ pour Apache Drill

Je veux accéder à Drill via une interface de programmation. La documentation Apache Drill mentionne simplement ses bibliothèq ... ce que je veux faire. Est-ce que quelqu'un a une idée où je peux en trouver plus sur ces API et si elles sont réellement là?

Problème lors de l'utilisation du client java hbase lors de la mise en place de données dans la base de données

Je teste le hbase . j'utilise un autonome sans hadoop. j'ai utilisé la version hbase 0.90.6 le code a bien fonctionné et j'ai ... slf4j-log4j12-1.5.8.jar commons-net-1.4.1.jar stax-api-1.0.1.jar guava-r09.jar zookeeper-3.4.3.jar

Réparation de la table hive à l'aide de hiveContext en java

Je veux réparer la table hive pour toutes les partitions nouvellement ajoutées/supprimées.Au lieu d'exécuter manuellement la ... anshu","mytable").getAllPartitions()); Existe-t-il un moyen d'ajouter/supprimer des partitions dans hive en utilisant java?

Comment définir le schéma parquet pour ParquetOutputFormat pour le travail Hadoop en java?

J'ai un travail Hadoop en java, qui a le format de sortie de séquence: job.setOutputFormatClass(SequenceFileOutputFormat.cl ... e clé et org.apache.mahout.cf.taste.hadoop.EntityEntityWritable comme un valeur. Comment puis-je définir un schéma pour qui?

Définir le filtre de ligne de préfixe multiple sur scanner hbase java

Je veux créer un scanner qui me donnera un résultat avec 2 filtres de préfixe Par exemple, je veux toutes les lignes dont la ... îne"y". Actuellement, je ne sais le faire qu'avec un préfixe de la manière suivante: scan.setRowPrefixFilter(prefixFiltet)

Hadoop mapreduce exemple de documentation

Où puis-je trouver une documentation détaillée pour les exemples de programmes mentionnés ci-dessous, je ne peux pas le trouv ... ort teravalidate: Checking results of terasort wordcount: A map/reduce program that counts the words in the input files.

Java Hadoop insertion et requête de grandes données au format JSON

J'ai besoin de construire un système avec Java et Hadoop pour gérer le traitement de données volumineuses (au format JSON). L ... que Hadoop MapReduce prenne les données d'entrée d'un autre outil que je vais utiliser? Veuillez conseiller. Merci beaucoup

Programme Java MapReduce pour travailler sur des fichiers PDF

J'ai besoin d'analyser un fichier PDF dans un programme mapreduce en utilisant Java. Je suis sur une configuration de cluster ... able(FileSystem fs, Path filename) { return false; } } Appréciez toute aide ou pointeurs sur ce qui me manque ici.

Compiler et exécuter dynamiquement un travail Hadoop à partir d'un autre fichier Java

J'essaie d'écrire un fichier Java qui reçoit le code source d'un travail MapReduce, le compile dynamiquement et exécute le tr ... able value : values) { sum += value.get(); } context.write(key, new IntWritable(sum)); } } }

Entrée de fichier Hadoop Big Data PDI à partir de Java

J'essaie d'exécuter un kjb kettle qui a une entrée de fichier hadoop et une sortie de fichier hadoop. Tout ce que j'essaie de ... e que je dois définir lors de l'exécution du travail à partir de java afin de le faire fonctionner à partir de java ? Merci

installation du JDK Java 32 bits sur CentOS 6.5 32 bits

J'essaie de wget d'installer 32 bits JDK sur 32 bits CentOS 6.5. CentOS s'exécute sur une machine virtuelle vmware Player dan ... ect to edelivery.oracle.com insecurely, use ‘--no-check-certificate’. Comment installer JDK via le terminal CentOS? Grâce.

Comment échapper à la barre oblique en java afin de l'utiliser dans path

J'essaie d'échapper une barre oblique dans une chaîne qui peut être utilisée dans path en utilisant Java. Par exemple: Strin ... " comme séparateur de chemin, ce dont je n'ai pas besoin dans certains cas. / zookeeper / HellowWorld/Test / Monde Merci

Comment lire une phrase au lieu d'une ligne avec WordCount MapReduce tutorial

J'apprends Hadoop MapReduce et je suis le WordCount tutorial. Dans le morceau de code suivant, je comprends que la méthode ... t.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } } Où ai-je tort?

Triés Hadoop WordCount Java

J'exécute le programme WordCount de Hadoop en Java et mon premier travail (obtenir tous les mots et leur nombre) fonctionne b ... Format Counters Bytes Read=1528889 Merci pour votre temps et votre aide ! Modifier Global: nouvelle api utilisée

Création d'un exemple java Hadoop

Je sais que cette question a déjà été posée mais je n'arrive pas à la comprendre. J'ai une configuration de cluster à nœud u ... space de travail eclipse et ajouté l'externe .les bocaux dans les paramètres du projet. Toute idée de ce que je fais de mal?

Exécuter le travail MapReduce à partir d'une application Web

En référence à des questions similaires: Exécution d'un travail Hadoop À partir d'un autre programme Java et Appeler un tra ... me> <value>*</value> <description></description> </property>