运行在YARN上的计算框架有什么作用

本篇内容主要讲解“运行在YARN上的计算框架有什么作用”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“运行在YARN上的计算框架有什么作用”吧!

专注于为中小企业提供网站设计、成都网站设计服务,电脑端+手机端+微信端的三站合一,更高效的管理,为中小企业桃源免费做网站提供优质的服务。我们立足成都，凝聚了一批互联网行业人才，有力地推动了超过千家企业的稳健成长，帮助中小企业通过网站建设实现规模扩充和转变。

1. 将框架运行在YARN上带来的好处

随着YARN的的成熟和稳定，各类应用程序可以运行在一个YARN集群中进行统一资源管理和调度，这样带来的变化如下：

（1）应用程序部署变得更加简单

管理员只需部署YARN服务即可，各类应用程序框架不再自带服务，无需实现部署，它们已经变成了客户端编程库（library），由YARN提供的分布式缓存机制分发到各个节点上；

（2）服务部署变得简单

用户可以通过运行一个应用程序的方式部署一套服务，比如Storm服务，至于jar包拷贝等工作，完全由YARN自动完成，部署完成后，用户像使用普通的Storm集群那样使用Storm-On-YARN

（3）多版本共享集群资源（简单的隔离）

由于YARN只负责资源管理和调度，至于其上运行什么应用或者服务，完全由用户自己决定，这使得用户可在YARN上运行多个同类服务实例，比如运行 多个Storm实例供不同类型的应用，YARN本身可以为这些实例提供隔离机制（Cgroups）。有了YARN之后，用户开发新的框架或者应用程序时， 可不必在考虑资源隔离问题。

（4）资源弹性管理

由于多类应用运行在一个YARN集群中，比如离线计算、实时计算、DAG计算等，YARN可根据不同类型的应用程序压力情况，调整对应的资源使用量，实现资源弹性管理。

2. 目前可运行在YARN上的计算框架

运行在YARN上的框架，包括MapReduce-On-YARN, Spark-On-YARN, Storm-On-YARN和Tez-On-YARN。

（1）MapReduce-On-YARN：YARN上的离线计算，YARN发行版中自带该实现，随着YARN的稳定，MRv1运行方式会被淘汰；

（2）Spark-On-YARN：YARN上的内存计算；

（3）Storm-On-YARN：YARN上的实时/流式计算；

（4）Tez-On-YARN：YARN上的DAG计算

到此，相信大家对“运行在YARN上的计算框架有什么作用”有了更深的了解，不妨来实际操作一番吧！这里是创新互联网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！