Comment modifier le Spark home par défaut et Java home dans SparklyR? (R Mac OS)
J'ai installé Spark dans un dossier de mon répertoire personnel et je l'ai ajouté à mon .bash_profile. Depuis le terminal, je peux courir
pyspark
ouspark-shell
aprèssource ~/.bash_profile
. Mais pour Sparklyr, l'emplacement par défaut de spark se trouve dans le dossier utilisateur. Existe-t-il un moyen de changer définitivement l'emplacement par défaut ou de configurer une variable path sans avoir à la configurer chaque fois que j'exécute une nouvelle session R?-
Lorsque j'essaie de connecter spark en déclarant l'emplacement spark est installé, je reçois le message d'erreur suivant:
sc <- spark_connect(master = "local", spark_home = "~/server/spark/")
`Erreur: Java 11 n'est pris en charge que pour Spark 3.0.0 +
Existe-t-il également un moyen de configurer de manière permanente java_home pour sparklyr? Je n'ai rien trouvé à ce sujet dans la documentation.
Merci!
J'utilise Mac OS Catalina 10.15.4, RStudio Version 1.2.5033, Spark version 2.4.5
1 answers
Je l'ai fait en deux étapes:
J'ai obtenu la maison Java appropriée en exécutant
/usr/libexec/java_home -v 1.8
dans le terminal (cela devrait également déjà être défini dans le profil bash, plus de détails ici)J'ai ajouté une variable JAVA_HOME (et SPARK_HOME) à mon .Renvoyer le fichier afin que je n'aie pas à le définir pour chaque session. J'ai utilisé
usethis::edit_r_environ()
pour ouvrir le fichier et redémarré ma session R pour qu'elle prenne effet. (Plus de détails sur .Renviron généralement ici).