apache-spark

Ho installato Spark all'interno di una cartella nella mia home directory e l'ho aggiunto al mio .bash_profile. Dal terminale ... u questo nella documentazione. Grazie! Sto usando Mac OS Catalina 10.15.4, RStudio Versione 1.2.5033, Spark versione 2.4.5

Non capisco come Spark gestisca o scarichi i pacchetti forniti dall'interfaccia Scala. Per il mio caso specifico; Voglio pass ... _HOME/lib/native a $SPARK_HOME/conf/spark-env.sh; ma questo non ha risolto lanciando l'avviso o dando l'errore di cui sopra.

Ho esaminato le seguenti domande e pagine alla ricerca di una risposta per il mio problema, ma non hanno risolto il mio probl ... esecutori, ma anche loro non contengono nessuna delle istruzioni di registro che ho dato. Per favore aiutami in questo senso.

In spark, la serializzazione java è l'impostazione predefinita, se kryo è così efficiente, allora perché non è impostato come predefinito. Ci sono alcuni svantaggi che usano kryo o in quali scenari dovremmo usare la serializzazione kryo o java?

Attualmente sto cercando di spark-inviare un fat jar a un cluster locale, che ho sviluppato usando Spark 2.4.6; Scala 2.11.12 ... =============Successfully wrote to avro consumer on localhost kafka consumer========================" + "\n"+ "\n") } }

Sto cercando di leggere un file CSV memorizzato nell'account di archiviazione di Azure. Per questo, ho installato una scintil ... ://<container_name>@<storage_account_name>.blob.core.windows.net/<path_to_csv>/sample_file.csv") df.show()

Sto elaborando un flusso JSON kafka in streaming strutturato Spark. Elaborazione come micro batch, posso utilizzare accumulat ... .format("console").start(); Funziona, ma non ho valori nei log e non riesco a vedere l'accumulatore nella GUI.

Sto cercando di installare Spark nel mio Windows 10 con Anaconda, ma ho ricevuto un errore quando provo a eseguire pyspark ne ... Installare Java 8 (non 10) Ho già speso un po ore cercando, anche una reinstallazione Anaconda perché cancello un ambiente.