云原生计算引擎的挑战与最佳实践

Apache Spark中国技术交流社区

发布于

830

人观看

#信息技术

第四课：
云原生计算引擎的挑战与最佳实践
讲师：周康，花名榆舟，阿里巴巴技术专家

介绍：大数据基础架构云原生化比较常见的就是用K8s实现，在将大数据计算引擎迁移到K8s的过程中，会遇到很多挑战。本节课会重点介绍阿里云EMR云原生计算引擎的思考和经验。

展开查看详情

1 . !"#$%·Data Lake Formation 云原⽣计算引擎的挑战与最佳实践周康 · 阿⾥巴巴 / 分布式研发专家

2 . !"#$%·Data Lake Formation 01 云原⽣背景介绍与思考 CONTENT 02 EMR云原⽣计算引擎容器化实践⽬录 >> 03 云原⽣计算引擎展望

3 . 01 云原⽣背景介绍与思考 Apache Flink 中⽂学习⽹站! ververica.cn © Apache Flink Community China 严禁商业⽤途

4 . !"#$%·Data Lake Formation EMR开源⼤数据⽣态 PAI DataWorks Application DEV NoteBook Data Science workbench Metadata & 社区开源组件 Jupyter/Zepplin 监 Job Scheduler 智 EMR-Workspace/ management Job Scheduler Hue/Superset EMR-Flow/Oozie Hive/Kafka Permission 控 & TensorFlo Impal 能运 authorizatio MR Hive Spark Flink Storm Presto & w a EMR开源软件增 n 运维体系统一化告 Compute Engine YARN HBas Kafka Druid 维强警 Kerberos 管 e Ranger HDFS Delta Lake JindoFS Data Storage 控 EMR自研组件 Kudu OSS 阿里云其他云产 Sqoop，DataX Flume，Kafka Logstash，SLS Data Intergration 品 Data Platform EMR Agent Management Basic Compute ECS(弹性) Source

5 . !"#$%·Data Lake Formation EMR云原⽣容器化初衷在线离线混部运维体系统一化计算与存储分离云原生生态红利更好的隔离性

6 . 02 EMR计算引擎容器化实践 Apache Flink 中⽂学习⽹站! ververica.cn © Apache Flink Community China 严禁商业⽤途

7 . !"#$%·Data Lake Formation EMR计算引擎容器化整体架构 • 支持主流引擎Spark和Presto • 计算与存储分离架构 • Remote Shuffle Service架构

8 . !"#$%·Data Lake Formation Spark on K8s⾯临的挑战 Shuffle 调度读写数据湖 • 4567 • 89>?rename/list • !"#$%&'()*+ • 89:;<= • OSS@A67BC • ,-./0123

9 . !"#$%·Data Lake Formation Remote Shuffle Service架构 • Shuffle数据通过网络写出，中间数据计算与存储分离架构 • DFS2副本，消除fetch failed 引起的重算，shuffle heavy作业更加稳定 • Reduce阶段顺序读磁盘，避免现有版本的随机IO，大幅提升性能

10 . !"#$%·Data Lake Formation TeraSort Benchmark

11 . !"#$%·Data Lake Formation Spark&Operator优化调度性能优化读写OSS性能优化 l 直接将部分Pod配置做到Spark内核里边， l 引入JindoFS作为缓存加速解决spark operator webhook带来的性能瓶颈 l Jindo Job Committer解决rename/list耗时等问 l 基于ACK的Scheduler Framework V2 题 l 尝试开源解决方案Yunikorn Spark性能优化一站式管控 l Jindo Spark性能大幅提升 l 售卖、管控、监控、日志一站式服务 l Jindo Spark稳定性大幅提升 l Notebook数据开发 l Jindo Delta Lake功能性能提升 l Namespace配额管理

13 . !"#$%·Data Lake Formation Spark云原⽣后续展望 • 固定集群和Serverless集群混合，提升性价比 • 支持Spot抢占式ECI容器运行Executor，降低成本 • 真正的executor无状态，空闲即可销毁，而不需要重算 • 增强调度能力以及作业队列管理能力

14 . !"#$%·Data Lake Formation EMR容器化-加速企业数字化落地存算分离，按需扩展极致弹性，随用随得运维闭环，高性价比

15 . !"#$%·Data Lake Formation &'!"#$%()*+,,- ./!"#0123456

1点赞

1收藏