Apache DolphinScheduler & Apache Hudi 联合 Meetup | 7 月 16 日

活动简介

数据湖作为一个企业级的数据管理平台，用于分析不同类型的数据源。它既可以满足实时分析的需要，也可以作为数据仓库，满足批量数据挖掘的需要。在数据湖之上，借助一个任务调度系统高效、稳定且易于扩展的协调能力来扩充数据湖的外部能力，如数据摄取、数据存储、数据探索、数据发现、数据治理等，数据用户将可以轻松地与数据湖互动，而不必关注太多的技术细节。

本次活动中，最受欢迎的云原生大数据工作流调度平台 Apache DolphinScheduler 将与最受欢迎的数据湖产品 Apache Hidi 强强练手，带来调度系统与数据湖强强联手的最佳实践，通过实践案例，解析云原生时代下，大数据处理的神奇能力。

活动议程

演讲时间：14:05-14:45 讲师介绍：

孔帅，传智教育资深研究员 。

演讲题目：Apache DolphinScheduler在传智教育的实践与思考 演讲概要：

• 1-Oozie的痛点；
• 2-DS解决痛点；
• 3-DS应用案例

演讲时间：14:50-15:30 讲师介绍：

李辉，阿里云数据库高级开发工程师，阿里云 OLAP AnalyticDB 存储团队，4年分布式存储引擎研发经验

演讲题目：AnalyticDB(ADB)基于Hudi构建湖仓一体化平台

演讲概要： 阿里云 AnalyticDB 基于 Hudi 正在研发全新的湖仓一体化版本，以提供客户性价比更高，使用更便捷的统一大数据处理平台。本次演讲主要围绕ADB湖仓版整体架构、湖数据实时同步链路、读写优化等方面详细介绍Hudi 在 ADB 中的实践与探索。

15:30-15:40 抽奖环节

演讲时间： 15:40-16:20

讲师介绍：

王子健，现任宇动源（北京）信息技术有限公司大数据平台开发工程师，原搜狐畅游数据仓库开发工程师。一直接触调度系统，对海豚调度有着极大的兴趣，希望与各位互相学习进步~

演讲题目：基于DolphinScheduler的智能调度引擎在DDS的应用

演讲简介： 使用基于Apache DolphinScheduler的智能调度引擎支持公司DDS 产品，与Hadoop 生态环境解耦，以及基于DolphinScheduler引擎的功能优化。

演讲时间： 16:20-17:00

讲师介绍：

冯健，Shopee Data Infra, Data lake 负责人，目前主要从事于基于Hudi的数据湖平台建设工作。从事大数据工作10年，曾参与Realtime-platform以及资源调度方面的工作，经历了流式计算从无到有，从storm到Spark、Flink的技术历程，期望能够在下一代的流批一体，批流结合 LakeHouse革新中得到更多的技术收获

演讲题目：基于Hudi的湖仓一体技术在Shopee的实践

演讲概要：

1. Shopee数据系统建设中面临的典型问题
2. 为什么选择Hudi
3. Shopee在Hudi落地过程中的相关实践
4. 未来展望

7 月 16 日 14:00，最受欢迎的云原生大数据工作流调度平台 Apache DolphinScheduler 与最受欢迎的数据湖产品 Apache Hidi 强强练手将会碰撞出怎样的火花？我们拭目以待！