大橙子网站建设,新征程启航

为企业提供网站建设、域名注册、服务器等服务

怎么指定Spark2中Driver和Executor使用指定范围内端口

本篇内容介绍了“怎么指定Spark2中Driver和Executor使用指定范围内端口”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

目前成都创新互联已为上千多家的企业提供了网站建设、域名、网络空间、网站改版维护、企业网站设计、漯河网站维护等服务,公司将坚持客户导向、应用为本的策略,正道将秉承"和谐、参与、激情"的文化,与客户和合作伙伴齐心协力一起成长,共同发展。

1.文档编写目的


在CDH集群中提交Spark作业,大家也都知道Spark的Driver和Executor之间通讯端口是随机的,Spark会随选择1024和65535(含)之间的端口,因此在集群之间不建议启用防火墙。本篇文章Fayson主要介绍如何指定Spark2作业中Driver和Executor使用指定范围内的端口进行通讯。

  • 内容概述

1.配置Spark Driver和Executor端口范围

2.验证端口分配

  • 测试环境

1.CM和CDH版本为5.15

2.Spark版本为2.2.0

2.配置Spark Driver和Executor端口范围


1.登录到CM管理界面,进入Spark服务的配置界面

怎么指定Spark2中Driver和Executor使用指定范围内端口

2.在Gateway分类中配置也搜索“spark-defaults.conf”,添加如下配置:

spark.driver.port=10000
spark.blockManager.port=20000
spark.port.maxRetries=999

(可左右滑动)

怎么指定Spark2中Driver和Executor使用指定范围内端口

3.保存配置,并重新部署Spark2的客户端配置

怎么指定Spark2中Driver和Executor使用指定范围内端口

3.验证端口分配


1.向集群提交一个Spark2的作业

spark2-submit --class org.apache.spark.examples.SparkPi\
    --master yarn --num-executors 4 --driver-memory 1g\
    --driver-cores 1 --executor-memory 1g --executor-cores 1\
    /opt/cloudera/parcels/SPARK2/lib/spark2/examples/jars/spark-examples_2.11-2.2.0.cloudera2.jar 10000

(可左右滑动)

怎么指定Spark2中Driver和Executor使用指定范围内端口

2.查看Spark作业的运行界面查看Driver和Executor使用的端口号

怎么指定Spark2中Driver和Executor使用指定范围内端口

4.总结


本篇文章Fayson主要是以Spark2为例说明限制Driver和Executor使用指定范围内的端口号。细心的朋友可以看到Driver启动的时候会监听两个端口示例中是10001和20000。关于这两个端口的解释如下:

1.spark.driver.port的10001端口是用来监听来自executor的请求,在executor起来的时候需要与drive通信并获取具体的任务信息,是driver使用的管理调度用端口。

2.spark.blockManager.port(20000)端口是driver和executor直接数据传输端口(比如cached data frame, broadcast vars)。

3.在Spark运行中,blockManager将不会和YARN交互,而driver是会和YARN中运行的Application Master进程交互。

4.Spark2中指定Executor的端口号是通过spark.blockManager.port指定与Spark1的(spark.executor.port)指定参数不同。

“怎么指定Spark2中Driver和Executor使用指定范围内端口”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站,小编将为大家输出更多高质量的实用文章!


标题名称:怎么指定Spark2中Driver和Executor使用指定范围内端口
标题链接:http://dzwzjz.com/article/phodis.html
在线咨询
服务热线
服务热线:028-86922220
TOP