IT技术面试技巧|大数据专业技术yarn有哪些调度及常用命令
发布时间:2024-07-07 08:06:20 点击:
当今世界,随着大数据成为众多企业的宝贵资产,对于希望加入大数据行业的面试者来说,面试中可能被问到的问题范围很广,北京八维教育培训学校今天将分享一些大数据专业中yarn有哪些调度及常用命令面试问题,以帮助面试者在这个快速发展的领域中做好充分的准备。

1.yarn有哪些调度
FIFO:单队列 先进先出 小任务易阻塞
CAPACITY:多队列 各队列资源固定 小任务可同时运行,可弹性使用资源
每个队列都可以设置最大值,不设置的话可用到整个父队列的资源最大值(正好有空闲时);
FAIR:多队列 各队列资源\动态抢占** 小任务可同时运行
队列创建时:除非队列被准确的定义,否则会以用户名为队列名创建队列
抢占就是允许调度器杀掉占用超过其应占份额资源队列的containers,这些containers资源便可被分配到应该享有这些份额资源的队列中。
默认调度器
Apache 开源:CAPACITY
CDH版本:FAIR

2.常用命令
yarn logs -applicationId application15391986545221073695 |more
2.1查看 Job 信息:
hadoop job -list
2.2杀掉 Job:
hadoop job –kill job_id
hadoop job –status job_id


