Исключение зависимостей пакета Spark [в режиме ожидания]
Моя хост-система - Windows 10. У меня Cloudera VM, а моя искровая версия - 1.6. Я пытался загрузить искровую оболочку с помощью следующей команды:
spark-shell --packages org.apache.spark:spark-streaming-twitter_2.10:1.6.0
Но это бросает следующее исключение:
:::: ERRORS
Server access error at url https://repo1.maven.org/maven2/org/apache/spark/spark-streaming-twitter_2.10/1.6.0/spark-streaming-twitter_2.10-1.6.0.pom (javax.net.ssl.SSLException: Received fatal alert: protocol_version)
Server access error at url https://repo1.maven.org/maven2/org/apache/spark/spark-streaming-twitter_2.10/1.6.0/spark-streaming-twitter_2.10-1.6.0.jar (javax.net.ssl.SSLException: Received fatal alert: protocol_version)
:: USE VERBOSE OR DEBUG MESSAGE LEVEL FOR MORE DETAILS
Exception in thread "main" java.lang.RuntimeException: [unresolved dependency: org.apache.spark#spark-streaming-twitter_2.10;1.6.0: not found]
at org.apache.spark.deploy.SparkSubmitUtils$.resolveMavenCoordinates(SparkSubmit.scala:1067)
at org.apache.spark.deploy.SparkSubmit$.prepareSubmitEnvironment(SparkSubmit.scala:287)
at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:154)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:121)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
131
задан Zanna
18 July 2018 в 09:49
поделиться
1 ответ
::::::::::::::::::::::::::::::::::::::::::::::
:: UNRESOLVED DEPENDENCIES ::
::::::::::::::::::::::::::::::::::::::::::::::
:: org.apache.spark#spark-streaming-twitter_2.10;1.6.0: not found
::::::::::::::::::::::::::::::::::::::::::::::
Даже я получаю такую же ошибку. Я попытался загрузить файлы jars и pom вручную и попытался запустить оболочку с помощью опции --jars, но сервер не может получать твиты. Я снова получаю следующие ошибки.
scala> 18/07/18 00:39:48 ERROR executor.Executor: Exception in task 0.0 in stage 0.0 (TID 0)
java.lang.NoSuchMethodError: twitter4j.TwitterStream.addListener(Ltwitter4j/StreamListener;)V
18/07/18 00:39:48 ERROR util.SparkUncaughtExceptionHandler: Uncaught exception in thread Thread[Executor task launch worker-0,5,main]
java.lang.NoSuchMethodError: twitter4j.TwitterStream.addListener(Ltwitter4j/StreamListener;)V
18/07/18 00:39:48 WARN scheduler.TaskSetManager: Lost task 0.0 in stage 0.0 (TID 0, localhost, executor driver): java.lang.NoSuchMethodError: twitter4j.TwitterStream.addListener(Ltwitter4j/StreamListener;)V
18/07/18 00:39:48 ERROR scheduler.TaskSetManager: Task 0 in stage 0.0 failed 1 times; aborting job
Exception in thread "dispatcher-event-loop-0" java.lang.AbstractMethodError
-1
ответ дан karel
18 July 2018 в 17:18
поделиться