Jeff Markham：Hadoop YARN的高可用性

发布时间：2025-11-05 08:11:29 来源：码上建站 作者：人工智能

【独家特稿】在2013 China Hadoop Summit峰会上，用性来自Hortonworks的用性CTO，Jeff先生为我们分享了YARN在大数据方面的用性应用。

Jeff首先谈到了YARN对比MESOS的用性一些优势。比如架构更加简单，用性用户可以不用过于复杂的用性设计工程。在可扩展性方面，用性YARN也有自己的用性优势。Yarn 框架相对于老的用性 MapReduce 框架什么优势呢？我们可以看到：

这个设计大大减小了 JobTracker（也就是现在的 ResourceManager）的资源消耗，并且让监测每一个 Job 子任务 (tasks) 状态的用性程序分布式化了，更安全、用性更优美。用性在新的用性 Yarn 中，云南idc服务商ApplicationMaster 是用性一个可变更的部分，用户可以对不同的用性编程模型写自己的 AppMst，让更多类型的编程模型能够跑在 Hadoop 集群中，可以参考 hadoop Yarn 官方配置模板中的 mapred-site.xml 配置。

对于资源的表示以内存为单位 ( 在目前版本的 Yarn 中，没有考虑 cpu 的占用 )，比之前以剩余 slot 数目更合理。 老的框架中，JobTracker 一个很大的负担就是监控 job 下的 tasks 的运行状况，服务器托管现在，这个部分就扔给 ApplicationMaster 做了，而 ResourceManager 中有一个模块叫做 ApplicationsMasters( 注意不是 ApplicationMaster)，它是监测 ApplicationMaster 的运行状况，如果出问题，会将其在其他机器上重启。

Container 是 Yarn 为了将来作资源隔离而提出的一个框架。这一点应该借鉴了 Mesos 的工作，目前是一个框架，仅仅提供 java 虚拟机内存的隔离 ,hadoop 团队的设计思路应该后续能支持更多的资源调度和控制 , 既然资源表示成内存量，那就没有了之前的 map slot/reduce slot 分开造成集群资源闲置的尴尬情况。免费源码下载

相关文章