- 快召唤伙伴们来围观吧
- 微博 QQ QQ空间 贴吧
- 视频嵌入链接 文档嵌入链接
- 复制
- 微信扫一扫分享
- 已成功复制到剪贴板
Yarn on k8s的弹性介绍
EMR on ACK是企业级半托管的开源大数据平台,为阿里云E-MapReduce(EMR)提供了一个部署选项,允许您在阿里云容器服务Kubernetes版 (ACK) 上运行开源大数据框架。Yarn on K8S方案帮助您平衡不同集群的资源使用,共享集群间计算资源,充分利用所有节点的计算资源,满足计算资源弹性调度,云上混合部署在线和离线任务的需求。本次直播将重点展开 Yarn on ACK 的弹性介绍。
讲师介绍
霁谦 阿里云开源大数据平台 高级开发工程师
展开查看详情
1 .Yarn on K8S的弹性介绍 王日宇 阿里云 开源大数据平台
2 .目录 背景介绍 目录 演进思路 总结和展望
3 .背景介绍
4 .背景介绍 为什么要使用Yarn on K8S • 作为在离线混部方案 • 充分利用在离线计算资源 • 不同集群计算资源共享,缓解“潮汐现象” • 推进云原生方案快速落地
5 .演进思路
6 .演进思路 阶段1:简单部署 局限性: • NM Pod挂载固定盘 • NM资源固定 • 规则固定 • 人工维护成本高
7 .演进思路 阶段2:节点资源感知 • NM支持弹性资源 • 主动驱逐Container • RM调度优化
8 .演进思路 阶段2:节点资源感知-扩容 • NM通过list&watch机制,获 取节点可用资源,并且汇报 RM,从而实现动态扩缩容以 及资源超发
9 .演进思路 阶段2:节点资源感知-缩容 • NM通过list&watch机制,获取节点可 用资源,需要缩容的话,如果当前使 用量超过可分配量,按照策略触发 container驱逐
10 .演进思路 阶段3:存算分离 • Spark native on k8s:k8s调 度spark driver和executor pod,使用RSS支持存算分离 • Yarn on k8s NM存算分离: 支持Tez on RSS
11 .演进思路 阶段4:灵活的集群弹性伸缩 • 支持弹性伸缩:动态感知集 群负载
12 .总结和展望
13 .总结和展望 总结 • 打通K8S节点感知和yarn资源动态上报,以解决节点资源使用冲突,平衡集群内的节点资源使用 • 提供RSS存算分离服务解决K8S调度节点本地盘依赖问题,更好的支持计算引擎层native云原生 • 通过单独的auto scaler服务,提供集群资源横向动态扩缩容,灵活的分时错峰调度能力 展望 • 在K8S的基础上提供更完善的调度策略,如多级队列 • 使用Node label机制为不同级别的在线任务提供资源和集群扩缩容服务 • 改进Yarn RM在扩缩容场景下遇到的调度性能稳定性问题
14 .