Standalone模式如何在spark中进行配置-创新互联

这篇文章给大家介绍Standalone模式如何在spark中进行配置，内容非常详细，感兴趣的小伙伴们可以参考借鉴，希望对大家能有所帮助。

spark运行模式

Spark 有很多种模式，最简单就是单机本地模式，还有单机伪分布式模式，复杂的则运行在集群中，目前能很好的运行在 Yarn和 Mesos 中，当然 Spark 还有自带的 Standalone 模式，对于大多数情况 Standalone 模式就足够了，如果企业已经有 Yarn 或者 Mesos 环境，也是很方便部署的。

1.local(本地模式)：常用于本地开发测试，本地还分为local单线程和local-cluster多线程;

2.standalone(集群模式)：典型的Mater/slave模式，不过也能看出Master是有单点故障的；Spark支持ZooKeeper来实现 HA

3.on yarn(集群模式)： 运行在 yarn 资源管理器框架之上，由 yarn 负责资源管理，Spark 负责任务调度和计算

4.on mesos(集群模式)： 运行在 mesos 资源管理器框架之上，由 mesos 负责资源管理，Spark 负责任务调度和计算

5.on cloud(集群模式)：比如 AWS 的 EC2，使用这个模式能很方便的访问 Amazon的 S3;Spark 支持多种分布式存储系统：HDFS 和 S3

Spark Standalone集群部署

准备工作

1.这里我下载的是Spark的编译版本，否则需要事先自行编译

2.Spark需要Hadoop的HDFS作为持久化层，所以在安装Spark之前需要安装Hadoop，这里Hadoop的安装就不介绍了，给出一个教程hadoop 单机安装配置教程

3.实现创建hadoop用户，Hadoop、Spark等程序都在该用户下进行安装

4.ssh无密码登录，Spark集群中各节点的通信需要通过ssh协议进行，这需要事先进行配置。通过在hadoop用户的.ssh目录下将其他用户的id_rsa.pub公钥文件内容拷贝的本机的authorized_keys文件中，即可事先无登录通信的功能

5.Java环境的安装，同时将JAVA_HOME、CLASSPATH等环境变量放到主目录的.bashrc，执行source .bashrc使之生效

部署配置

这里配置工作需要以下几个步骤：

1.解压Spark二进制压缩包
2.配置conf/spark-env.sh文件
3.配置conf/slave文件

下面具体说明一下：

配置Spark的运行环境，将spark-env.sh.template模板文件复制成spark-env.sh，然后填写相应需要的配置内容：

export SPARK_MASTER_IP=hadoop1
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORDER_INSTANCES=1
export SPARK_WORKER_MEMORY=3g