Spark Yarn 运行模式 [ 哔哔大数据 ]
大数据男孩 文章 正文
明妃
{{nature("2022-08-14 17:23:15")}}更新概述
Spark 可以直接连接 Yarn ,不需要额外构建Spark 集群。有 yarn-client 和 yarn-cluster 两种模式,主要区别在于:Driver 程序的运行节点。
- yarn-client:Driver 程序运行在客户端,适用于交互、调试,希望立即看到 app 的输出
- yarn-cluster(集群):Driver 程序运行在RM(ResourceManager)启动的AP(APPmaster) 适用于生成环境。
配置
修改 hadoop 配置文件 yarn-site.xml,添加如下内容
<!--是否启动一个线程检查每个任务正使用的物理内存量,如果任务超出分配值,则直接将其杀掉,默认是true -->
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<!--是否启动一个线程检查每个任务正使用的虚拟内存量,如果任务超出分配值,则直接将其杀掉,默认是true -->
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
修改 Spark/conf 下的 spark-env.sh,添加 Hadoop 的 etc/hadoop ,修改完记得 source
YARN_CONF_DIR=/usr/local/src/hadoop/hadoop-2.6.0/etc/hadoop
配置集群就分发,不是集群就不用分发
// 分发 spark-env.sh
scp spark-env.sh slave1:/usr/local/src/spark/spark-2.0.0-bin-hadoop2.6/conf/
scp spark-env.sh slave2:/usr/local/src/spark/spark-2.0.0-bin-hadoop2.6/conf/
// 分发 yarn-site.xml
scp yarn-site.xml slave1:/usr/local/src/hadoop/hadoop-2.6.0/etc/hadoop/
scp yarn-site.xml slave2:/usr/local/src/hadoop/hadoop-2.6.0/etc/hadoop/
提交一个例子测试(注意启动Hadoop 和 Yarn)
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
./examples/jars/spark-examples_2.11-2.0.0.jar \
100
[]()
日志查看
因为在Spark 计算,Yarn 调度资源,Yarn不能获取到 Spark的执行日志,所以需要配置一下
修改配置文件 Spark/conf下的 spark-defaults.conf 如下
首先创建好存放目录hadoop fs -mkdir /historyserverforSpark
park.yarn.historyServer.address=master:18080
spark.history.ui.port=18080
spark.eventLog.enabled=true
spark.eventLog.dir=hdfs://master:9000/historyserverforSpark
spark.history.fs.logDirectory=hdfs://master:9000/historyserverforSpark
重启spark历史服务
// 关闭
sbin/stop-history-server.sh
// 开启
sbin/start-history-server.sh
提交任务到Yarn执行
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
./examples/jars/spark-examples_2.11-2.0.0.jar \
100
Web页面查看日志
[]()
{{nature('2020-01-02 16:47:07')}} {{format('12530')}}人已阅读
{{nature('2019-12-11 20:43:10')}} {{format('9418')}}人已阅读
{{nature('2019-12-26 17:20:52')}} {{format('7413')}}人已阅读
{{nature('2019-12-26 16:03:55')}} {{format('4888')}}人已阅读
目录
标签云
一言
评论 0
{{userInfo.data?.nickname}}
{{userInfo.data?.email}}