IT技术面试技巧|大数据专业技术yarn的基础详解

　　随着大数据的兴起，越来越多的企业开始关注大数据专业技术。因此，为了选拔出合格的大数据专业人才，企业往往会进行严格的面试。以下是今天北京八维教育培训学校与大家分享的yarn的基础详解，希望能够帮助学子们在大数据面试中脱颖而出。

　　1.hadoop 1.x

　　JobTracker,TaskTracker

　　缺点：JobTracker负载过重，存在单点故障;与MapReduce强耦合，其他计算框架需要重复实现资源管理；

　　2.hadoop 2.x

　　App Mstr (Application Master进程)

　　3.工作流程

　　用户使用客户端向 RM 提交一个任务，同时指定提交到哪个队列和需要多少资源。用户可以通过每个计算引擎的对应参数设置，如果没有特别指定，则使用默认设置。

　　RM 在收到任务提交的请求后，先根据资源和队列是否满足要求选择一个 NM，通知它启动一个特殊的 container，称为 Application Master(App Mstr，AM)，后续流程由它发起。

　　AM 向 RM 注册后根据自己任务的需要，向 RM 申请 container，包括数量、所需资源量、所在位置等因素。

　　如果队列有足够资源，RM 会将 container 分配给有足够剩余资源的 NM，由 AM 通知 NM 启动 container。

　　container 启动后执行具体的任务，处理分给自己的数据。NM 除了负责启动 container，还负责监控它的资源使用状况以及是否失败退出等工作，如果 container 实际使用的内存超过申请时指定的内存，会将其杀死，保证其他 container 能正常运行。

　　各个 container 向 AM 汇报自己的进度，都完成后，AM 向 RM 注销任务并退出，RM 通知 NM 杀死对应的 container，任务结束。