Comment modifier le Spark home par défaut et Java home dans SparklyR? (R Mac OS)


  1. J'ai installé Spark dans un dossier de mon répertoire personnel et je l'ai ajouté à mon .bash_profile. Depuis le terminal, je peux courir pyspark ou spark-shell après source ~/.bash_profile. Mais pour Sparklyr, l'emplacement par défaut de spark se trouve dans le dossier utilisateur. Existe-t-il un moyen de changer définitivement l'emplacement par défaut ou de configurer une variable path sans avoir à la configurer chaque fois que j'exécute une nouvelle session R?

  2. Lorsque j'essaie de connecter spark en déclarant l'emplacement spark est installé, je reçois le message d'erreur suivant:

sc <- spark_connect(master = "local", spark_home = "~/server/spark/")

`Erreur: Java 11 n'est pris en charge que pour Spark 3.0.0 +

Existe-t-il également un moyen de configurer de manière permanente java_home pour sparklyr? Je n'ai rien trouvé à ce sujet dans la documentation.

Merci!

J'utilise Mac OS Catalina 10.15.4, RStudio Version 1.2.5033, Spark version 2.4.5

Author: Viviane, 2020-05-15

1 answers

Je l'ai fait en deux étapes:

  1. J'ai obtenu la maison Java appropriée en exécutant /usr/libexec/java_home -v 1.8 dans le terminal (cela devrait également déjà être défini dans le profil bash, plus de détails ici)

  2. J'ai ajouté une variable JAVA_HOME (et SPARK_HOME) à mon .Renvoyer le fichier afin que je n'aie pas à le définir pour chaque session. J'ai utilisé usethis::edit_r_environ() pour ouvrir le fichier et redémarré ma session R pour qu'elle prenne effet. (Plus de détails sur .Renviron généralement ici).

 0
Author: Mirabilis, 2020-05-26 15:33:42