L'exemple Java spark s'exécute mal avec error: java.lang.NoSuchMethodError: scala.Predef$.scope scope()Lscala / xml / TopScope$
J'ai écrit un exemple avec le support spark maven
dans Intelligent IDEA
.
La version spark
est 2.0.0, la version hadoop
est 2.7.3, la version scala
est 2.11.8. L'environnement dans le système et l'E est la même version. Ensuite, l'application s'exécute avec une erreur:
Exception dans le thread "main" java.lang.NoSuchMéthodError:
scala.Predef$.$scope()Lscala/xml/TopScope$
; àorg.apache.spark.ui.jobs.StagePage
.(StagePage.scala: 44) àorg.apache.spark.ui.jobs.StagesTab
.(StagesTab.scala: 34) àorg.apache.spark.ui.SparkUI
.(SparkUI.scala: 62) àorg.apache.spark.ui.SparkUI$.create(SparkUI.scala:215)
àorg.apache.spark.ui.SparkUI$.createLiveUI(SparkUI.scala:157)
àorg.apache.spark.SparkContext.<init>(SparkContext.scala:443)
àorg.apache.spark.SparkContext.<init>(SparkContext.scala:149)
àorg.apache.spark.SparkContext.<init>(SparkContext.scala:185)
àorg.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:92)
àcom.spark.test.WordCountTest.main(WordCountTest.java:25)
àsun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
àsun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
àsun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
àjava.lang.reflect.Method.invoke(Method.java:606)
àcom.intellij.rt.execution.application.AppMain.main(AppMain.java:140)
1 answers
Étincelle 2.0.0 construire avec scala 2.10, vous devez ajouter de la scala 2.10 cadre de soutien