• 151983

    文章

  • 1250

    评论

  • 10

    友链

  • 最近新加了换肤功能,大家多来逛逛吧~~~~
  • 喜欢这个网站的朋友可以加一下QQ群,我们一起交流技术。

yarn节点属性及调度

【节点属性产生的背景】

在2.X版本中,已经支持节点设置标签,并且允许容量调度中的队列,设置可访问的节点标签以及默认标签值,并按照节点标签进行调度。

但一个节点只能有1个标签,这样在yarn集群中,通过标签将NM节点划分为不同的节点池(1个NM节点只能属于某个固定的节点池)。

实际上,光有节点标签还不能满足一些复杂的场景,比如同一个类型标签中的不同NM节点,可能有不同环境信息,例如不同的jdk版本、python版本、cpu型号等等。

实际任务调度时,需要在正确的节点上运行,因此引入了节点属性,节点属性按K=V的形式设置,并且允许设置多个。【节点属性的配置与设置】

1. yarn配置

和节点标签一样,节点属性并不是默认开启的,需要在rm(yarn-site.xml)中进行如下配置:

<property>
  <name>yarn.node-attribute.fs-store.root-dir</name>
  <value>hdfs://hdfsHACluster/root/node-attributes/</value>
</property>

<property>
  <name>yarn.node-attirbute.fs-store.impl.class</name>
  <value>FileSystemNodeAttributeStore</value>
</property>

其中"yarn.node-attribute.fs-store.root-dir"表示节点属性在RM中的存储位置可以选择存储本地(对应配置为file:///xxx/xxx),也可以是选择存储在hdfs上。

"yarn.node-attirbute.fs-store.impl.class"表示节点属性存储的实现类,默认为`FileSystemNodeAttributeStore`。

2. 节点属性的设置

完成配置后,接下来自然就是对节点设置属性。设置属性的方式也和节点标签类似,分为中心集中式和分布式,简单来说中心集中式就是通过(管理员用户)执行命令对各节点进行属性设置;分布式则是由各节点通过自身配置的方式向RM上报所拥有的属性。

对于中心集中式,主要使用添加、删除命令,例如:

# 为指定节点添加属性
yarn nodeattributes -add "172.168.3.51:python2=true"
# 删除指定节点的属性
yarn nodeattributes -remove "172.168.3.51:python2=true"

添加或删除命令,通过指定节点的IP或域名,然后以":"分隔指定一个或多个属性,属性之间以","分隔;如果需要同时为多个节点设置属性,以空格为分隔符,分别指定为不同节点指定属性。

对于分布式,则需要在NM中进行对应的配置,例如:

<!-- 配置为config时通过 yarn.nodemanager.node-attributes.provider.configured-node-attributes来指定节点属性 -->
<property>
    <name>yarn.nodemanager.node-attributes.provider</name>
    <value>config</value>
</property>
<property>
    <name>yarn.nodemanager.node-attributes.provider.configured-node-attributes</name>
    <!-- 多个属性以 ":" 进行分隔 -->
    <!-- 每个属性必须包含3个字段, 属性名,类型,属性值, 字段之间以","作为分隔 -->
    <!-- 类型只能为大写STRIGN -->
    <!-- 属性名只能为{0-9, a-z, A-Z, -, _} 且不能超过255个字符 -->
    <value>jdk8,STRING,true:python3,STRING,true</value>
</property>

"yarn.nodemanager.node-attributes.provider"除了配置为config外,还可以配置为script,即通过定期执行指定的脚本来设置节点的属性,例如:

<property>
    <name>yarn.nodemanager.node-attributes.provider</name>
    <value>script</value>
</property>
<!--脚本的路径-->
<!--脚本的输出必须为一行或多行这样的信息 NODE_ATTRIBUTE:属性名,类型,属性值" -->
<property>
    <name>yarn.nodemanager.node-attributes.provider.script.path</name>
    <value>/opt/xxx.sh</value>
</property>
<!--脚本附带的参数-->
<property>
    <name>yarn.nodemanager.node-attributes.provider.script.opts</name>
    <value></value>
</property>
<!--脚本执行的间隔-->
<property>
    <name>yarn.nodemanager.node-attributes.provider.fetch-interval-ms</name>
    <value>600000</value>
</property>
<!--脚本执行的超时时间-->
<property>
    <name>yarn.nodemanager.node-attributes.provider.fetch-timeout-ms</name>
    <value>1200000</value>
</property>

除此之外,还可以配置自定义开发的实现类该实现类一定要继承自"org.apache.hadoop.yarn.server.nodemanager.nodelabels.NodeAttributesProvider"。

完成节点的属性设置后,可以通过下面的命令来查看已经设置的节点属性:

[root@rm-0 /]# yarn nodeattributes -attributestonodes
                                Hostname Attribute-value
nm.yarn.io/python3 :
                            172.168.3.51 true
rm.yarn.io/python2 :
                            172.168.3.51 true
nm.yarn.io/jdk8 :
                            172.168.3.51 true

对于节点属性的设置,有如下需要注意的地方:

  • 同一个key不能赋多个值,也就是说,对同一个Key多次设置属性值,后面设置的值覆盖前面设置的值

  • 当前value的类型仅支持string

  • 节点标签还需要在队列中设置可以访问的标签,而节点属性则完全与队列没有关系

  • 对于节点标签而言,只能采用集中式或者分布式的方式,而节点属性则可以同时使用集中式和分布式的方式对接点进行设置对于集中式设置的属性,会添加"rm.yarn.io"前缀,而对于分布式方式设置的属性,会添加"nm.yarn.io"前缀。这就意味着属性是通过前缀加名称来唯一标识的。

【按节点属性进行任务调度】

1. Placement Constraints简介

任务的container能根据节点属性来进行调度,本质上是用到了Placement Constraints,这里先来简单介绍下Placement Constraints。

很多时候,为了提升性能,需要让同一个application中的多个任务container运行在指定节点上,比如为了避免网络带宽带来的损耗,让container之间具备亲和性(运行在同一节点上)。

或者考虑到hdfs读写的性能,将应用的所有任务container调度到指定的节点上等等。

Hadoop引入了placement constraint,即AM向RM注册时,可以设置不同的表达式,后续申请资源时,让yarn根据此表达式来进行精准调度。

这个表达式就包含了NM节点属性,因此就可以按照NM节点属性来正确调度,当然,不仅限于按节点属性来调度。

2. 按节点属性匹配调度

要开启placement的匹配调度,首先需要在RM中进行如下配置:

<property>
    <name>yarn.resourcemanager.placement-constraints.handler</name>
    <value>placement-processor</value>
</property>

然后,可以通过自带的命令可以进行测试验证:

yarn org.apache.hadoop.yarn.applications.distributedshell.Client -jar share/hadoop/yarn/hadoop-yarn-applications-distributedshell-3.3.3.jar -shell_command sleep -shell_args 10 -num_containers 3 -placement_spec python2=true

任务的执行情况:

对比下同样的任务,未指定任何节点属性的情况:

同样,在使用中有如下需要注意的地方:

  • 属性名称的指定

    对于通过集中式方式指定的属性,可以不用加前缀,直接使用其属性名即可,而对于分布式(NM自行上报)的属性,使用时需要增加前缀才能正确进行匹配上。因此使用上建议统一方式。

  • placement constraint为硬限制

    节点属性约束是硬限制的, 即只有当节点的属性与任务指定的属性匹配时才能进行分配,否则任务container会一直处于pending状态,直到找到可以满足条件的有效节点。

  • 作用于任务container

    从上面的使用方式可以看到,placement constraint是在AM中进行设置的,因此也就只对任务container生效,而AM本身还是由RM按原有的方式进行调度

  • flink/spark还未支持

    当前最新版本的flink与spark都还未支持设置该参数,如需要使用,需要自行修改代码支持。

  • 参数不是强制的

    为任务contaienr申请资源时,placement表达式不是必须的,客户端接口中有两个接口分别对应携带和不带该参数的情况。

【总结】

本文简单介绍了节点属性的背景,如何进行配置,以及如何按照节点属性进行任务的调度。当然,涉及的placement constraint是一个比较庞大的内容,包括详细的表达式设置、AM的代码中应当如何编写对应的代码、RM中的调度逻辑等等,这里没有展开讲解,后面单独来进行整理说明。

 

好了,这就是本文的全部内容,如果觉得本文对您有帮助,请多多转发,也欢迎加我微信交流~

本文分享自微信公众号 - hncscwc(gh_383bc7486c1a)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。


695856371Web网页设计师②群 | 喜欢本站的朋友可以收藏本站,或者加入我们大家一起来交流技术!

自定义皮肤 主体内容背景
打开支付宝扫码付款购买视频教程
遇到问题联系客服QQ:419400980
注册梁钟霖个人博客