当前位置: 首页 > >

Spark开发错误锦集(持续更新)

错误一 Failed to locate the winutils binary in the hadoop binary path
1. 下载

hadoop-common-2.7.1-bin
https://download.csdn.net/download/groovier/9591226?utm_medium=distribute.pc_relevant_download.none-task-download-searchfrombaidu-1.nonecase&depth_1-utm_source=distribute.pc_relevant_download.none-task-download-searchfrombaidu-1.nonecase


2. 下载(可选)

http://archive.apache.org/dist/hadoop/core/hadoop-2.7.1/


3. 解压

tar解压报错没关系
我注释了 hadoop-config.cmd(可选)
@rem if not exist %JAVA_HOME%injava.exe (
@rem echo Error: JAVA_HOME is incorrectly set.
@rem echo Please update %HADOOP_HOME%confhadoop-env.cmd
@rem goto :eof
@rem )


hadoop-common-2.7.1-bin更新到bin目录 (外面也放了 一直找不到)


4. 配置环境变量

HADOOP_HOME
PATH


5. cmd 输hadoop成功
6. *鬒DEA再试
7. 不行 *舻缒栽偈

错误二 A master URL must be set in your configuration
方案一

点击edit configuration,在左侧点击该项目。在右侧VM options中输入“-Dspark.master=local”,指示本程序本地单线程运行,再次运行即可。
配置如图:


方案二

在代码中 加入 .master(“local”)



错误三 IDEA SCALA插件安装 版本错误

在商店刷半天出不来,直接去网上下,选的高版本,进去后特别容易卡死 各种诡异问题
https://plugins.jetbrains.com/plugin/1347-scala/versions
我的IDEA2020.1 那么版本 一定要选2020.1.x



错误四 Unable to find encoder for type stored in a Dataset.

前面加入 import spark.implicits._
val dataSet = spark.read.textFile(filePath).flatMap(x => x.split(" ")).show()



错误五 import spark.implicits._ spark红色出不来

需在前面 接收


val spark = SparkSession.builder().master("local").appName("HdfsTest").getOrCreate();

主要 val 不是 var 初学者,为啥var不提示 呜呜呜



错误六 Error: Cannot load main class from JAR file:/opt/jars/TestSpark.jar

idea 打jar包没有META-INF 或选择了Java的目录



错误七 spark java.net.ConnectException: Connection refused

原来写的 网上查了都写 9000
bigdata-pro03.kfk.com/192.168.0.153 to bigdata-pro02.kfk.com:9000
后面看了下 改集群模式 把端口没了 因此 改不要端口执行


bin/spark-submit --master local[2] /opt/jars/TestSpark.jar hdfs://bigdata-pro02.kfk.com/user/datas/stu.txt




fs.defaultFS
hdfs://ns


问题八 杀不掉SparkSubmit

[kfk@bigdata-pro03 spark-2.2.0-bin]$ jps
26016 SparkSubmit
26241 SparkSubmit
24897 JournalNode


换下面这个杀


[kfk@bigdata-pro03 spark-2.2.0-bin]$ ps -ef | grep spark
kfk 26005 23002 0 11:48 pts/3 00:00:00 bash bin/spark-shell
kfk 26230 23002 0 11:50 pts/3 00:00:00 bash bin/spark-shell
kfk 26688 23002 0 12:13 pts/3 00:00:00 grep spark



友情链接: year2525网 工作范文网 QS-ISP 138资料网 528200 工作范文网 baothai 表格模版