apache-spark

Sto cercando di aggiornare da Spark 2.1 a 2.2. Quando provo a leggere o scrivere un dataframe in una posizione (CSV o JSON) s ... erwrite).csv("my.csv") Ecco lo schema: root / name name: string (nullable = true) / age età: lunga (nullable = false)

Ciao sto cercando di leggere un file memorizzato sul bucket GCS utilizzando il lavoro spark standalone in java. ho configurat ... usato tutte le sue librerie in eclipse. Qualsiasi aiuto sarebbe molto apprezzare. Non sono in grado di andare avanti. Grazie.

Qualcuno può dare un esempio di uso corretto di mapPartitionsWithIndex in Java? Ho trovato molti esempi di Scala, ma mancano ... DD<String>> >() { @Override public Iterator<JavaRDD<String>> call(Integer ind, String s) {

Ho eseguito un semplice codice scritto in Java da Spark quickstart guide: public static void main(String[] args) { ... ato ( Java spark lib "org.apache.spark:spark-core_2.10:1.6.1" Scala spark lib "org.apache.spark" %% "spark-core" % "1.6.1"

Voglio riparare la tabella hive per tutte le partizioni appena aggiunte/eliminate.Invece di eseguire manualmente il comando d ... e().getTable("anshu","mytable").getAllPartitions()); C'è un modo per aggiungere / rimuovere partizioni in hive usando java?

Ho lottato con questo per qualche tempo. Ho cercato di eseguire un semplice codice di analisi del sentiment di Twitter che se ... eets = stream.map(r => r.getText) tweets.print() // print tweet text ssc.start() ssc.awaitTermination() } }

Ho seguito" Un'app standalone in Java " parte del tutorial https://spark.apache.org/docs/0.8.1/quick-start.html Questa pa ... me input. È possibile eseguire questa SimpleApp.java con parametri come questo: ./run-example <class> <params>

Esiste comunque in spark streaming per mantenere i dati su più micro-batch di un dstream ordinato, in cui il flusso viene ord ... re calcoli.. non l'intero set di dati, ma persistono determinati eventi che possono essere utilizzati nei futuri RDD DStream?

Sto usando pyspark e ho ricevuto i seguenti messaggi: 17/12/03 11:57:48 WARN TaskSetManager: Lost task 0.0 in stage 5.0 (TI ... arsi ogni volta e non sono sempre riproducibili. Sto usando spark 2.2.0 e hapdoop 2.7. Qualcuno l'ha visto prima? Grazie!

Ho scritto un esempio con il supporto spark maven in Intelligent IDEA. La versione spark è 2.0.0, la versione hadoop è 2.7.3, ... a java.lang.reflect.Method.invoke(Method.java:606) a com.intellij.rt.execution.application.AppMain.main(AppMain.java:140)

Attualmente stiamo affrontando un paio di problemi 1. "org.Apache.scintilla.sql.Catalyst.espressione.GeneratedClass Gener Gen ... col("ManufacturerSource"),str,manufacturerNames.get(str).toString())); } dataFileContent.show();

Sto cercando di leggere alcuni dati da hadoop in un RDD in Spark usando la shell Scala interattiva, ma ho problemi ad acceder ... do not conform to method newAPIHadoopFile's type parameter bounds [K,V,F <: org.apache.hadoop.mapreduce.InputFormat[K,V]]

Voglio implementare alcuni algoritmi di apprendimento automatico utilizzando la libreria Spark MLlib per il mio progetto Java ... ricare la libreria da qui e aggiungere il jar al mio percorso di compilazione ma apparentemente sembra essere più difficile.

Stavo cercando di eseguire l'esempio spark word count su https://spark.apache.org/examples.html ma l'esecuzione fallisce con ... primo errore java.io. IOException sta arrivando anche in altri esempi ma non sta ostacolando l'esecuzione in qualsiasi modo.

Ciao la mia configurazione Spark in JAVA è : ss=SparkSession.builder() .config("spark.driver.host", "192.168.0.103") ... ono in fase di attesa è presentata dal codice java. Ho provato tutte le soluzioni da tutti i siti. Qualsiasi idea per favore.

Posso ottenere un riferimento per le api di Java+ spark sql che accedono all'archivio oggetti emc tramite l'api S3. Ho provat ... archivio di oggetti su emc che consente nomi di bucket con " ". Ma voglio accedere a questo da spark sql ma tramite l'api S3.

Ho letto in un file di testo di doubles e l'ho memorizzato in un JavaRDD, ma ho difficoltà a implementare una moltiplicazione ... la matematica sottostante ma non sono in grado di impostare le coppie di chiavi della matrice e moltiplicarle correttamente.

Sto eseguendo spark su una singola macchina, con 24 core, 48G Ram. Sono in grado di formare un modello implicito con utenti ... ricevendo lo stesso errore. Stack traccia di errore: https://www.dropbox.com/s/g2vlmtjo8bb4gd1/javaheapspaceerror.txt?dl=0

Ho questo codice, voglio inserire in hive ma per ora stampare su console. Se faccio una stringa semplice invece di schema, s ... mno": "VODAFONE", "mvno": "MOBILCOM-DEBITEL", "mcc": "262", "mnc": "2" } } }

Intestazione 1 # codice spark importato da eseguire su eclipse Ottenere errori di compilazione Funziona bene sul terminale I ... ntext.<init>(SparkContext.scala:204) at SimpleApp$.main(SampleApp.scala:14) at SimpleApp.main(SampleApp.scala)