ClouderaManager和CDH升级流程-创新互联

1.Cloudera升级概述

升级包括两个主要的步骤，升级Cloudera Manager和升级CDH群集

升级CM：

*升级CM时 可以使用rpm命令； Cloudera Manager升级时，Cloudera Navigator也会升级。

升级CDH：

*CM和CDH不需要同时升级，但CM和CDH的版本必须兼容。Cloudera Manager 6.0可以管理运行CDH 5.7到CDH 5.14的集群，只要Cloudera Manager的主+次版本 等于或高于 CDH的主+次版本。

例如：

支持:

· Cloudera Manager 6.0.0 and CDH 5.14.0

· Cloudera Manager 5.14.0 and CDH 5.13.0

· Cloudera Manager 5.13.1 and CDH 5.13.3

不支持:

· Cloudera Manager 5.14.0 and CDH 6.0.0

· Cloudera Manager 5.12 and CDH 5.13

· Cloudera Manager 6.0.0 and CDH 5.6

2.评估升级的影响

计划一个足够长的维护窗口(停机时间)来执行升级。根据需要升级的组件， 集群中的主机数量和硬件类型情况，你可能需要一整天的时间。

在开始升级之前，你需要收集一些信息 并做好提前准备

请参考Cloudera Manager的：

https://www.cloudera.com/documentation/enterprise/release-notes/topics/rg_release_notes.html

了解API的更改 过时的功能 新功能以及不兼容性的变更。

而且要检查

https://www.cloudera.com/documentation/enterprise/upgrade/topics/rg_requirements_supported_versions.html#c6_requirements

以确保使用的是受支持的操作系统 JDK 数据库和其他组件

有三种类型的升级：major, minor, and maintenance

Major升级

升级通常具有以下特征：

Hadoop的功能性发生了很大变化，有很多的更新内容

不兼容的数据格式

Cloudera Manager 界面发生重大改变

Cloudera Manager 数据库中Schema变更
需要大量的停机时间来升级集群

重新部署客户端配置

Minor 升级

Minor升级是指基于同样的major将minor版本进行升级，比如从5.7.x升级到5.8.x，通常包括以下内容：

  新功能   

  Bug 修复

 Cloudera Manager自动处理的潜在数据库Schema更改

在minor 升级中通常不会导致 不兼容的变更和数据格式的更改

Maintenance 升级

Maintenance升级 可以修复严重的bug或 解决安全问题 不会有兼容性修改和新功能

3.Cloudera Manager升级概述

升级CM 有以下步骤：

1. 备份Cloudera Manager服务器数据库、工作目录和其他几个实体。如果升级过程中出现问题，可以使用这些备份来恢复Cloudera Manager部署

2. CM主机上 在命令行中使用package命令 升级Cloudera Manager Server ，例如Redhat的yum命令 cm会自动化完成这个过程的大部分流程

3. 在所有集群主机上升级Cloudera Manager agent，Cloudera Manager升级向导可以帮助你升级agent(并且，可选JDK) 也可以手动安装agent 和JDK软件。CDH在此过程中没有升级。

有关Cloudera Manager升级的步骤，请参靠官网文档：

https://www.cloudera.com/documentation/enterprise/latest/topics/cm_upgrade.html#concept_q1q_mbs_wx

如果你正要从5.x 升级到5.x 的更高版本 还可以使用tarballs升级Cloudera Manager 相关的过程 请参阅使用Tarball升级Cloudera Manager 5

https://www.cloudera.com/documentation/enterprise/5/latest/topics/cm_ag_ug_cm5_tarballs.html

4.CDH升级概述

CDH升级包含Hadoop软件以及相关组件的更新 你可以使用Cloudera Manager来升级CDH 根据您使用的Cloudera Manager版本和要升级到的CDH版本的不同，这些过程也会有所不同 您可以使用Cloudera Manager使用parcels或软件包升级CDH。

完成准备步骤后，可以使用Cloudera Manager升级向导完成升级 如果您使用parcels（推荐）启用了HDFS高可用性，并且拥有Cloudera Enterprise许可证 您可以执行滚动升级，且无需在升级期间使群集脱机。

有关CDH升级步骤，请参见升级CDH集群

https://www.cloudera.com/documentation/enterprise/upgrade/topics/ug_cdh_upgrade.html#cdh_upgrade5

推荐使用 Parcels升级 CDH
使用parcels升级CDH是选方法 因为Parcels是由Cloudera Manager管理 ，且会自动下载、分发和激活正确版本的软件 为了更容易的升级过程 可以考虑从package切换到parcels，以便Cloudera Manager可以自动执行更多的过程。还可以在升级CDH时从package切换到parcels。

使用Packages升级 CDH

这个选项是最耗时的，需要您使用ssh登录并在集群中的所有主机上执行一系列package命令 建议您改用Parcels来升级群集，这样Cloudera Manager就可以将升级后的软件分发给集群中的所有主机，而无需登录到每个主机 如果使用 packages安装群集，则可以使用parcels进行升级，并且群集将使用parcels进行后续升级

5.Cloudera Navigator升级概述

升级Cloudera Manager时 Cloudera Navigator Metadata和Audit servers会自动升级 你还可以选择升级其他Cloudera Navigator组件 例如Cloudera Navigator Key Trustee Server, Cloudera Navigator Key HSM和Cloudera Navigator Encrypt 您无需随Cloudera Manager或CDH升级一起升级这些组件 有关兼容性信息，请参阅：Cloudera Navigator加密产品兼容性矩阵（Cloudera Manager 5.x）和

升级Cloudera Navigator数据加密。

https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_navigator_encryption

https://www.cloudera.com/documentation/enterprise/upgrade/topics/ug_cn_upgrade.html#cn_upgrade

6.Cloudera Manager升级

rpm包下载地址

http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.14.4/RPMS/x86_64/

本地yum源设置
把下载的包放到某一个目录 建立yum索引

cd /etc/yum.repos.d/ #cd到此目录下

vi cloudera.repo 建立一个yum源配置文件配置如下

检查yum源可用性

yum list

关闭Cloudera Management Service服务：

备份数据库

关闭所有服务器上的Cloudera Manager Server和agent 并停止服务


停止所有服务器上的 server 和 agent 服务

升级cloudera相关组件

yum upgrade 'cloudera-*'

检查安装是否成功：

启动Cloudera Manager Server服务

service cloudera-scm-server start

准备升级其他服务器的agent

点击继续

选择自定义存储库

注：这里也可以选择私钥
升级成功点击继续
等待检查之后 点击继续
OK

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。