L'exemple Java spark s'exécute mal avec error: java.lang.NoSuchMethodError: scala.Predef$.scope scope()Lscala / xml / TopScope$


J'ai écrit un exemple avec le support spark maven dans Intelligent IDEA. La version spark est 2.0.0, la version hadoop est 2.7.3, la version scala est 2.11.8. L'environnement dans le système et l'E est la même version. Ensuite, l'application s'exécute avec une erreur:

Exception dans le thread "main" java.lang.NoSuchMéthodError: scala.Predef$.$scope()Lscala/xml/TopScope$; à org.apache.spark.ui.jobs.StagePage.(StagePage.scala: 44) à org.apache.spark.ui.jobs.StagesTab.(StagesTab.scala: 34) à org.apache.spark.ui.SparkUI.(SparkUI.scala: 62) à org.apache.spark.ui.SparkUI$.create(SparkUI.scala:215) à org.apache.spark.ui.SparkUI$.createLiveUI(SparkUI.scala:157) à org.apache.spark.SparkContext.<init>(SparkContext.scala:443) à org.apache.spark.SparkContext.<init>(SparkContext.scala:149) à org.apache.spark.SparkContext.<init>(SparkContext.scala:185) à org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:92) à com.spark.test.WordCountTest.main(WordCountTest.java:25) à sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) à sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) à sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) à java.lang.reflect.Method.invoke(Method.java:606) à com.intellij.rt.execution.application.AppMain.main(AppMain.java:140)

Author: Saurabh Srivastava, 2016-10-09

1 answers

Étincelle 2.0.0 construire avec scala 2.10, vous devez ajouter de la scala 2.10 cadre de soutien

 0
Author: Tristan Yan, 2016-12-09 20:14:15