申请试用
HOT
登录
注册
 
Yarn on k8s的弹性介绍
0 点赞
1 收藏
2下载
Apache Spark中国技术交流社区
/
发布于
/
44
人观看

EMR on ACK是企业级半托管的开源大数据平台,为阿里云E-MapReduce(EMR)提供了一个部署选项,允许您在阿里云容器服务Kubernetes版 (ACK) 上运行开源大数据框架。Yarn on K8S方案帮助您平衡不同集群的资源使用,共享集群间计算资源,充分利用所有节点的计算资源,满足计算资源弹性调度,云上混合部署在线和离线任务的需求。本次直播将重点展开 Yarn on ACK 的弹性介绍。

讲师介绍

霁谦 阿里云开源大数据平台 高级开发工程师

展开查看详情

1.Yarn on K8S的弹性介绍 王日宇 阿里云 开源大数据平台

2.目录 背景介绍 目录 演进思路 总结和展望

3.背景介绍

4.背景介绍 为什么要使用Yarn on K8S • 作为在离线混部方案 • 充分利用在离线计算资源 • 不同集群计算资源共享,缓解“潮汐现象” • 推进云原生方案快速落地

5.演进思路

6.演进思路 阶段1:简单部署 局限性: • NM Pod挂载固定盘 • NM资源固定 • 规则固定 • 人工维护成本高

7.演进思路 阶段2:节点资源感知 • NM支持弹性资源 • 主动驱逐Container • RM调度优化

8.演进思路 阶段2:节点资源感知-扩容 • NM通过list&watch机制,获 取节点可用资源,并且汇报 RM,从而实现动态扩缩容以 及资源超发

9.演进思路 阶段2:节点资源感知-缩容 • NM通过list&watch机制,获取节点可 用资源,需要缩容的话,如果当前使 用量超过可分配量,按照策略触发 container驱逐

10.演进思路 阶段3:存算分离 • Spark native on k8s:k8s调 度spark driver和executor pod,使用RSS支持存算分离 • Yarn on k8s NM存算分离: 支持Tez on RSS

11.演进思路 阶段4:灵活的集群弹性伸缩 • 支持弹性伸缩:动态感知集 群负载

12.总结和展望

13.总结和展望 总结 • 打通K8S节点感知和yarn资源动态上报,以解决节点资源使用冲突,平衡集群内的节点资源使用 • 提供RSS存算分离服务解决K8S调度节点本地盘依赖问题,更好的支持计算引擎层native云原生 • 通过单独的auto scaler服务,提供集群资源横向动态扩缩容,灵活的分时错峰调度能力 展望 • 在K8S的基础上提供更完善的调度策略,如多级队列 • 使用Node label机制为不同级别的在线任务提供资源和集群扩缩容服务 • 改进Yarn RM在扩缩容场景下遇到的调度性能稳定性问题

14.

0 点赞
1 收藏
2下载