Apache Hadoop(5)---YARN调度框架

YARN (Yet Another Resource Negotiator) 是Apache Hadoop中的集群资源管理系统,负责收集集群中各个节点资源情况并响应资源分配请求,根据不同的策略分配相应的节点资源。

YARN 在Hadoop 2中被引入,在此之前,资源管理系统MapReduce 1与Hadoop平台紧耦合,且设计上对节点支持数量较低。在Hadoop2中,资源管理系统被重构并抽象,独立成一个通用的资源管理系统,支持其他大数据计算平台接入,如如日中天的Spark就可以运行在YARN上。此外,重新设计的YARN开始支持更多的节点和任务。

在YARN中,有两种组件Resource Manager和Node Manager。Resource Manager是YARN的管理中心,负责汇总所有节点的资源信息并响应资源分配请求;Node Manager运行在每个节点上,负责启动并监控容器、资源。

步骤

yarn

在Hadoop中,一个MapReduce任务的执行步骤如下:

首先,客户端与Resource Manager通信,请求启动一个任务;
Resource Manager选择一个节点,然后启动该任务对应的Application Master;
Application Master请求输入文件的block信息,然后按照block个数,按照本地性策略向Resource Manager请求资源;
获取到资源后,请求响应的Node Manager,启动mapper任务;
Application Master监控任务执行情况,当一定比例的mapper任务结束后,请求设定数量的资源以启动Reducer;
监控任务执行,在完成后释放资源。

MapReduce中数据通信量较大,为了尽可能的减少数据传输,MapReduce采取了本地性策略,即计算资源离数据尽可能的尽,YARN会根据AM的请求,选择合适的节点。

YANR的资源分配比较灵活,可以在启动时一次性申请所有资源,也可以在运行时动态的申请资源,Spark采用的是前者,并且复用了资源,而MapReduce采用的则是后一种,两阶段申请资源,且用完后就释放。

调度策略

在真实场景下的集群,通常不会拥有无限的资源,那么在资源有限的情况下如何去管理和分配这些资源。不同的业务场景下,倾向不同,很难说有一个策略适合所有的场景,所以YARN提供了一些调度策略,以便在特定的场景下采取最合适的策略。

FIFO

固定思议,FIFO策略是简单的策略,它采取了先进先出的模式,当前一个任务的资源得到满足后再开始处理后一个任务的资源请求,而且对资源的使用没有限制。这种策略下,能得到最大的资源使用率(前提是即便获取到部分资源,任务也能立即开始执行),但是也带来了一些弊端,例如当一个大任务占用了所有资源后,小任务的资源请求无法得到满足,需要等待大任务完成才能开始。

Capacity

为了缓解FIFO策略的小任务等待时间过长问题,提出了Capacity策略,即将全部资源划分成若干队列,每个队列拥有一定的资源,大任务执行时仍然会预留一定的资源给小任务。通过预留资源的形式,缓解了小任务的延迟,但是由于资源没有充分利用,降低了一定的资源使用率。

这种策略也可以用于划分优先级,即预留一些资源给高优先级任务。

Fair Schedulers

在多租户场景下,如何保证公平和保持高资源使用率。Fair Schedulers就是为了解决这样的问题,它像一个弹性的Capacity策略,当集群比较空闲时,任务可以获得全部的资源,但是当下一个任务来临时,YARN会分出一半的资源分配给新任务,默认情况下,资源不可剥夺,所以存在一定的延迟,是一种最终公平性。

相比较于Capacity策略,Fair Schedulers无需预留资源。

延迟调度

延迟调度不是一个单独的策略,而是独立于具体策略的一个优化。考虑到在实际情况下,任务的本地性约束可能无法立即满足,但是相关节点能在短时间内空闲,这种情况下,等待更合适节点资源更加合理,所以YARN会等待一定时间,等待相关资源被释放,如果超时后仍然未获得资源,才分配其他的节点。

容错

在大量节点的集群中,出错时有发生,或节点本身出现故障,或网络故障,抑或是任务编写有bug,异常退出。为了减少异常带来的问题,YARN根据不同类型的异常提供了不同的恢复方式。

Task Failure

每一个具体的任务由相应的Application Master负责监控,所以当AM发现容器运行异常时(超时机制、异常退出),会请求新的节点,然后重新启动相关的子任务,当失败次数超过一定限制时,认为是代码编写错误,不再重试。

Application Master Failure

Resource Manager通过超时机制来检测AM的运行情况,当AM出现异常时,Resource Manager会启动新的AM,当该AM启动后,根据job history获取子任务的执行情况,避免重新运行这些任务。

Node Manager Failure

节点故障通常时通过超时机制来检测的,在节点出现故障后,会带来子任务和AM的失败,直接通过上述两种容错机制即可解决,不需要其他的处理。
当节点故障超过一定次数时,YARN会选择排除该高故障节点。

Resource Manager Failure

RM是YARN中最上层的组件,没有其他组件来监控它,所以Resource Manager的容错需要靠集群来解决。通过组建Resource Manager集群,一活多备的形式来达成高可用,当活跃RM失败时,其他的RM迅速接管,由于RM故障后集群状态信息会丢失,所以该部分数据是存储在可靠分布式存储上的(ZK、HDFS,主要是任务元信息)。

当新的RM启用后,由于不知道AM的状态,所以会重启所有的AM,然后再由AM去检测具体的子任务执行情况。