[Spark3.0.3]java.io.EOFException: End of File Exception between local host is:

文章目录问题截图问题原因问题截图2021-08-15 12:20:13,165 ERROR spark.SparkContext: Error initializing SparkContext.java.io.EOFException: End of File Exception between local host is: “hadoop102/192.168.10.102”; destina

枪枪枪

4100人浏览 · 2021-08-15 12:39:45

枪枪枪 · 2021-08-15 12:39:45 发布

文章目录

- - 问题截图
  - 问题原因

问题截图

2021-08-15 12:20:13,165 ERROR spark.SparkContext: Error initializing SparkContext.
java.io.EOFException: End of File Exception between local host is: “hadoop102/192.168.10.102”; destination host is: “hadoop102”:8021; : java.io.EOFException; For more details see: http://wiki.apache.org/hadoop/EOFException
在这里插入图片描述

在这里插入图片描述

问题原因

检查slaves、spark-defaults.conf、spark-env.sh中和路径有关的配置项，看写的是否有问题
在这里插入图片描述
改正后在运行示例程序，成功

bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --driver-memory 2g --executor-cores 2 --num-executors 2 --executor-memory 2g ./examples/jars/spark-examples_2.12-3.0.3.jar 10
```![在这里插入图片描述](https://img-blog.csdnimg.cn/19a0225145fe4141937e9740035c26c9.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2F6OTk5Ng==,size_16,color_FFFFFF,t_70)