八维教育IT培训学校

八维教育IT培训学校七大校区

首页 > 新闻资讯 > >

IT技术面试技巧|大数据专业技术yarn有哪些调度及常用命令

发布时间:2024-07-07 08:06:20 点击:

  当今世界,随着大数据成为众多企业的宝贵资产,对于希望加入大数据行业的面试者来说,面试中可能被问到的问题范围很广,北京八维教育培训学校今天将分享一些大数据专业中yarn有哪些调度及常用命令面试问题,以帮助面试者在这个快速发展的领域中做好充分的准备。
大数据专业技术yarn有哪些调度及常用命令

  1.yarn有哪些调度

  FIFO:单队列 先进先出 小任务易阻塞

  CAPACITY:多队列 各队列资源固定 小任务可同时运行,可弹性使用资源

  每个队列都可以设置最大值,不设置的话可用到整个父队列的资源最大值(正好有空闲时);

  FAIR:多队列 各队列资源\动态抢占** 小任务可同时运行

  队列创建时:除非队列被准确的定义,否则会以用户名为队列名创建队列

  抢占就是允许调度器杀掉占用超过其应占份额资源队列的containers,这些containers资源便可被分配到应该享有这些份额资源的队列中。

  默认调度器

  Apache 开源:CAPACITY

  CDH版本:FAIR
大数据专业技术yarn有哪些调度及常用命令

  2.常用命令

  yarn logs -applicationId application15391986545221073695 |more

  2.1查看 Job 信息:

  hadoop job -list

  2.2杀掉 Job:

  hadoop job –kill job_id

  hadoop job –status job_id
大数据专业技术yarn有哪些调度及常用命令