Come faccio a cambiare la Spark home predefinita e Java home in SparklyR? (R Mac OS)

Question

Ho installato Spark all'interno di una cartella nella mia home directory e l'ho aggiunto al mio .bash_profile. Dal terminale, posso eseguire pyspark o spark-shell dopo source ~/.bash_profile. Ma per Sparklyr, la posizione predefinita di spark è all'interno della cartella utente. C'è un modo per modificare in modo permanente la posizione predefinita o impostare una variabile path senza doverla configurare ogni volta che eseguo una nuova sessione R?
Quando provo a connettere spark dichiarando la posizione spark è installato, ricevo il seguente messaggio di errore:

sc <- spark_connect(master = "local", spark_home = "~/server/spark/")

`Errore: Java 11 è supportato solo per Spark 3.0.0 +

C'è un modo per configurare in modo permanente java_home anche per sparklyr? Non ho trovato nulla su questo nella documentazione.

Grazie!

Sto usando Mac OS Catalina 10.15.4, RStudio Versione 1.2.5033, Spark versione 2.4.5

1

Italian macos java-home apache-spark r sparklyr

Author: Viviane, 2020-05-15

Source

1 answers

score 0 · Accepted Answer

L'ho fatto usando due passaggi:

Ho ottenuto la home Java appropriata eseguendo /usr/libexec/java_home -v 1.8 nel terminale (questo dovrebbe anche essere già impostato nel profilo bash, maggiori dettagli qui)
Ho aggiunto una variabile JAVA_HOME (e SPARK_HOME) al mio.File Renviron in modo che non dovrei impostarlo per ogni sessione. Ho usato usethis::edit_r_environ() per aprire il file e riavviato la mia sessione R affinché abbia effetto. (Maggiori dettagli su .Renviron generalmente qui ).