Yarn on k8s的弹性介绍

1 .Yarn on K8S的弹性介绍 王日宇 阿里云 开源大数据平台 

2 .目录 背景介绍 目录 演进思路 总结和展望 

3 .背景介绍 

4 .背景介绍 为什么要使用Yarn on K8S • 作为在离线混部方案 • 充分利用在离线计算资源 • 不同集群计算资源共享，缓解“潮汐现象” • 推进云原生方案快速落地 

5 .演进思路 

6 .演进思路 阶段1：简单部署 局限性： • NM Pod挂载固定盘 • NM资源固定 • 规则固定 • 人工维护成本高 

7 .演进思路 阶段2：节点资源感知 • NM支持弹性资源 • 主动驱逐Container • RM调度优化 

8 .演进思路 阶段2：节点资源感知-扩容 • NM通过list&watch机制，获 取节点可用资源，并且汇报 RM，从而实现动态扩缩容以 及资源超发 

9 .演进思路 阶段2：节点资源感知-缩容 • NM通过list&watch机制，获取节点可 用资源，需要缩容的话，如果当前使 用量超过可分配量，按照策略触发 container驱逐 

10 .演进思路 阶段3：存算分离 • Spark native on k8s：k8s调 度spark driver和executor pod，使用RSS支持存算分离 • Yarn on k8s NM存算分离： 支持Tez on RSS 

11 .演进思路 阶段4：灵活的集群弹性伸缩 • 支持弹性伸缩：动态感知集 群负载 

12 .总结和展望 

13 .总结和展望 总结 • 打通K8S节点感知和yarn资源动态上报，以解决节点资源使用冲突，平衡集群内的节点资源使用 • 提供RSS存算分离服务解决K8S调度节点本地盘依赖问题，更好的支持计算引擎层native云原生 • 通过单独的auto scaler服务，提供集群资源横向动态扩缩容，灵活的分时错峰调度能力 展望 • 在K8S的基础上提供更完善的调度策略，如多级队列 • 使用Node label机制为不同级别的在线任务提供资源和集群扩缩容服务 • 改进Yarn RM在扩缩容场景下遇到的调度性能稳定性问题 

14 .