apache-spark

J'ai des bibliothèques clientes de base de données tierces en Java. Je veux y accéder via java_gateway.py Par exemple: pour ... donc cela me rend suspect. Il semble y avoir un autre mécanisme qui se passe pour configurer le chemin de classe latéral JVM.

Je travaille avec Apache Spark + Scala depuis plus de 5 ans maintenant (expériences académiques et professionnelles). J'ai to ... autour de ceux-ci. Donc, je veux utiliser cette plate-forme pour une discussion ouverte entre Spring Batch et Apache Spark.

J'utilise spark avec java, et je veux utiliser spark Job-Server. Pour cela j'ai suivi tout dans ce lien : https://github.com/ ... scala.concurrent.forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:107) job-server ... finished with exit code 255

J'ai essayé d'exécuter une requête hive sur la CLI Hive, après avoir configuré Hive pour fonctionner Spark. Lorsque spark.m ... r.run(ThreadPoolExecutor.java:615) at java.lang.Thread.run(Thread.java:745) Je travaille avec Spark 1.4.1 et Hive 1.2.1

Je reçois l'exception ci-dessous sur une application de streaming Spark de longue durée. L'exception peut se produire après ... enerator$$anon$1.onReceive(JobGenerator.scala:86) at org.apache.spark.util.EventLoop$$anon$1.run(EventLoop.scala:48)

J'ai un essai Bluemix et je veux l'utiliser avec une application Java que j'ai développée en utilisant le framework Spark en ... e prend pas en charge Keystone? Y a-t-il des exemples que je peux regarder pour déployer une telle application dans Bluemix?

J'essaie de passer de Spark 2.1 à 2.2. Lorsque j'essaie de lire ou d'écrire une trame de données dans un emplacement (CSV ou ... ("my.csv") Voici le schéma: racine |-- nom: chaîne de caractères (nullable = true) |-- âge: longue (nullable = false)

Salut, j'essaie de lire un fichier stocké sur le compartiment GCS en utilisant un travail spark autonome sur site en java. j' ... s ses bibliothèques dans eclipse. Toute Aide serait grandement apprécier. Je ne suis pas en mesure d'aller de l'avant. Grâce.

Quelqu'un peut-il donner un exemple d'utilisation correcte de mapPartitionsWithIndex en Java? J'ai trouvé beaucoup d'exemples ... DD<String>> >() { @Override public Iterator<JavaRDD<String>> call(Integer ind, String s) {

J'ai exécuté du code simple écrit en Java à partir du guide de démarrage rapide Spark: public static void main(String[] arg ... ect ( Java spark lib "org.apache.spark:spark-core_2.10:1.6.1" Scala spark lib "org.apache.spark" %% "spark-core" % "1.6.1"

Je veux réparer la table hive pour toutes les partitions nouvellement ajoutées/supprimées.Au lieu d'exécuter manuellement la ... anshu","mytable").getAllPartitions()); Existe-t-il un moyen d'ajouter/supprimer des partitions dans hive en utilisant java?

Je me bats avec cela depuis un certain temps maintenant. J'ai essayé d'exécuter un simple code d'analyse des sentiments Twitt ... eets = stream.map(r => r.getText) tweets.print() // print tweet text ssc.start() ssc.awaitTermination() } }

J'ai suivi "Une Application Autonome en Java" partie du tutoriel https://spark.apache.org/docs/0.8.1/quick-start.html Cette ... il possible d'exécuter cette SimpleApp.java avec des paramètres comme celui-ci: ./run-example <class> <params>

Existe-t-il de toute façon dans spark streaming pour conserver les données sur plusieurs micro-lots d'un dstream trié, où le ... pas l'ensemble de données entier, mais persistent certains événements qui peuvent être utilisés dans les futurs DSTREAM RDD?

J'utilise pyspark et j'ai reçu les messages suivants: 17/12/03 11:57:48 WARN TaskSetManager: Lost task 0.0 in stage 5.0 (TI ... ois et ne sont pas toujours reproductibles. J'utilise spark 2.2.0 et hapdoop 2.7. Quelqu'un at-il voir cela avant? Merci!

J'ai écrit un exemple avec le support spark maven dans Intelligent IDEA. La version spark est 2.0.0, la version hadoop est 2. ... à java.lang.reflect.Method.invoke(Method.java:606) à com.intellij.rt.execution.application.AppMain.main(AppMain.java:140)

Nous sommes actuellement confrontés à quelques problèmes 1. "org.Apache.étincelle.SQL.catalyseur.expression.GeneratedClass G ... col("ManufacturerSource"),str,manufacturerNames.get(str).toString())); } dataFileContent.show();

J'essaie de lire certaines données de hadoop dans un RDD dans Spark en utilisant le shell Scala interactif mais j'ai du mal à ... do not conform to method newAPIHadoopFile's type parameter bounds [K,V,F <: org.apache.hadoop.mapreduce.InputFormat[K,V]]

Je veux implémenter des algorithmes d'apprentissage automatique en utilisant la bibliothèque Spark MLlib pour mon projet Java ... thèque à partir de ici et d'ajouter le pot à mon chemin de construction, mais apparemment, cela semble être plus difficile.

J'essayais d'exécuter l'exemple de nombre de mots spark à https://spark.apache.org/examples.html mais l'exécution échoue ave ... S la première erreur java. io. IOException arrive également dans d'autres exemples mais n'entrave pas l'exécution aucunement.