云原生计算引擎的挑战与最佳实践

第四课:
云原生计算引擎的挑战与最佳实践
讲师:周康,花名榆舟,阿里巴巴技术专家

介绍:大数据基础架构云原生化比较常见的就是用K8s实现,在将大数据计算引擎迁移到K8s的过程中,会遇到很多挑战。本节课会重点介绍阿里云EMR云原生计算引擎的思考和经验。


展开查看详情

1. !"#$%·Data Lake Formation 云原⽣计算引擎的挑战与最佳实践 周康 · 阿⾥巴巴 / 分布式研发专家

2. !"#$%·Data Lake Formation 01 云原⽣背景介绍与思考 CONTENT 02 EMR云原⽣计算引擎容器化实践 ⽬录 >> 03 云原⽣计算引擎展望

3. 01 云原⽣背景介绍与思考 Apache Flink 中⽂学习⽹站! ververica.cn © Apache Flink Community China 严禁商业⽤途

4. !"#$%·Data Lake Formation EMR开源⼤数据⽣态 PAI DataWorks Application DEV NoteBook Data Science workbench Metadata & 社区开源组件 Jupyter/Zepplin 监 Job Scheduler 智 EMR-Workspace/ management Job Scheduler Hue/Superset EMR-Flow/Oozie Hive/Kafka Permission 控 & TensorFlo Impal 能 运 authorizatio MR Hive Spark Flink Storm Presto & w a EMR开源软件增 n 运维体系统一化 告 Compute Engine YARN HBas Kafka Druid 维 强 警 Kerberos 管 e Ranger HDFS Delta Lake JindoFS Data Storage 控 EMR自研组件 Kudu OSS 阿里云其他云产 Sqoop,DataX Flume,Kafka Logstash,SLS Data Intergration 品 Data Platform EMR Agent Management Basic Compute ECS(弹性) Source

5. !"#$%·Data Lake Formation EMR云原⽣容器化初衷 在线离线混部 运维体系统一化 计算与存储分离 云原生生态红利 更好的隔离性

6. 02 EMR计算引擎容器化实践 Apache Flink 中⽂学习⽹站! ververica.cn © Apache Flink Community China 严禁商业⽤途

7. !"#$%·Data Lake Formation EMR计算引擎容器化整体架构 • 支持主流引擎Spark和Presto • 计算与存储分离架构 • Remote Shuffle Service架构

8. !"#$%·Data Lake Formation Spark on K8s⾯临的挑战 Shuffle 调度 读写数据湖 • 4567 • 89>?rename/list • !"#$%&'()*+ • 89:;<= • OSS@A67BC • ,-./0123

9. !"#$%·Data Lake Formation Remote Shuffle Service架构 • Shuffle数据通过网络写出,中 间数据计算与存储分离架构 • DFS2副本,消除fetch failed 引起的重算,shuffle heavy作 业更加稳定 • Reduce阶段顺序读磁盘,避免 现有版本的随机IO,大幅提升 性能

10. !"#$%·Data Lake Formation TeraSort Benchmark

11. !"#$%·Data Lake Formation Spark&Operator优化 调度性能优化 读写OSS性能优化 l 直接将部分Pod配置做到Spark内核里边, l 引入JindoFS作为缓存加速 解决spark operator webhook带来的性能瓶颈 l Jindo Job Committer解决rename/list耗时等问 l 基于ACK的Scheduler Framework V2 题 l 尝试开源解决方案Yunikorn Spark性能优化 一站式管控 l Jindo Spark性能大幅提升 l 售卖、管控、监控、日志一站式服务 l Jindo Spark稳定性大幅提升 l Notebook数据开发 l Jindo Delta Lake功能性能提升 l Namespace配额管理

12. 03 云原⽣计算引擎展望 Apache Flink 中⽂学习⽹站! ververica.cn © Apache Flink Community China 严禁商业⽤途

13. !"#$%·Data Lake Formation Spark云原⽣后续展望 • 固定集群和Serverless集群混合,提升性价比 • 支持Spot抢占式ECI容器运行Executor,降低成本 • 真正的executor无状态,空闲即可销毁,而不需要 重算 • 增强调度能力以及作业队列管理能力

14. !"#$%·Data Lake Formation EMR容器化-加速企业数字化落地 存算分离,按需扩展 极致弹性,随用随得 运维闭环,高性价比

15. !"#$%·Data Lake Formation &'!"#$%()*+,,- ./!"#0123456

阿里巴巴开源大数据EMR技术团队成立Apache Spark中国技术社区,定期打造国内Spark线上线下交流活动。请持续关注。 团队群号:HPRX8117 微信公众号:Apache Spark技术交流社区