中国开源年会COSCon & Apache Roadshow - 新一代大数据任务调度 Apache DolphinScheduler 如何支持十万级任务调度的

1 .COSCon’20 & Apache Roadshow - China 

2 . Apache DolphinScheduler 是如何支撑每日 十万级大数据任务调度的 Lidong Dai Apache DolphinScheduler PPMC & Committer COSCon’20 & Apache Roadshow - China 2 

3 .目录 CONTENTS 01 介绍 02 痛点 03 用户及社区现状 04 优势与特性 05 架构设计变迁与经验 06 用户案例 07 发展路线 08 相关资源 

4 . PART 1 DolphinScheduler 介绍 

5 . Apache DolphinScheduler 简介 Apache DolphinScheduler 于 17 年在易观立项， 19 年 3 月份对外开源，8 月份正式进入 Apache 孵化器， 已累计有 400+ 公司在生产上使用。 DolphinScheduler 致力于“解决数据研发ETL 错 综复杂的依赖关系，而不能直观监控任务健康状态 等问题”。DolphinScheduler 以 DAG 流式的方 式将 Task 组装起来，可实时监控任务的运行状态， 同时支持重试、从指定节点恢复失败、暂停及Kill 任务等操作 COSCon’20 & Apache Roadshow - China 5 

6 . PART 2 痛点 

7 . Apache DolphinScheduler 起源 – 痛点 01 可视化DAG 04 简单易操作 依赖 实时查看运行状态 任务自依赖 每天数万任务运行 流程依赖等 02 调用高可用 05 任务日志/告警机制 流程可容错能力 便于排错 失败重试、回滚、转移 提醒 简单可维护 06 03 补数 丰富的任务类型 重刷历史数据 跨语言 自定义插件机制 COSCon’20 & Apache Roadshow - China 7 

8 . PART 3 用户及社区现状 

9 . DolphinScheduler 部分用户案例(排名不分先后) COSCon’20 & Apache Roadshow - China 9 

10 . DolphinScheduler 社区建设情况 Apache 组织崇尚 “社区大于代码” 易观 头条 阿里 腾讯 京东 滴滴 华为 平安 360 代码贡献者 小米 陌陌 观远 多点 同程 中移动 趣加 荔枝 贡献者公司分布 COSCon’20 & Apache Roadshow - China 文档贡献者 10 

11 . PART 4 优势与特性 2022-3-29 11 

12 . Apache DolphinScheduler 调度系统优势 高可靠性 简单易用 去中心化的多Master和多Worker, DAG 监控界面，所有流程定义都是可视化， 自身支持HA功能, 采用任务队列来避 通过拖拽任务定制DAG，通过API方式与第 免过载，不会造成机器卡死 三方系统对接, 一键部署 丰富的使用场景 高扩展性 支持暂停恢复操作. 支持多租户，更好 支持自定义任务类型，调度器使用分布式调度， 的应对大数据的使用场景. 支持更多的 调度能力随集群线性增长，Master和Worker支 任务类型，如 spark, hive, mr, python, 持动态上下线 sub_process, shell COSCon’20 & Apache Roadshow - China 12 

13 . Apache DolphinScheduler 调度系统主要能力 • 工作流优先级、任务优先 • 工作流可定时、依赖、手 • Task以DAG形式关联， • 支持Shell、MR、Spark、 级，全局参数及局部自定 义参数 动、暂停/停止/恢复 实时监控任务的状态。 SQL、依赖等10多种任务 类型。 • 支持补数、多租户、日志 • 完善的系统服务监控，任 • 去中心化设计确保系统的 • 支持每日十万数据量级任 稳定、高可用。 务稳定运行 在线查看及资源在线管理 务超时告警/失败。 COSCon’20 & Apache Roadshow - China 13 

14 . 数据任务管理：流程定义可视化拖曳式配置 1. 可视化拖曳快速建立流程，大 大提高数据导入任务创建效率。 2. 支持多种数据加工任务类型， 包括Shell、数据源、Spark、 Flink、MR、Python、Http， 子流程、以及任务依赖。  子流程支持可以让数据 解析、数据导入等子流 程复用，如数据格式解 析、结果数据入库，避 免重复配置，  多种类型任务确保不同 量级数据导入的效率 COSCon’20 & Apache Roadshow - China 14 

15 . 工作流运行过程可视化 COSCon’20 & Apache Roadshow - China 15 

16 . 任务支持重跑、重试且可以查看任务执行情况 COSCon’20 & Apache Roadshow - China 16 

17 . 任务管理：任务状态多粒度监控 数据加工平台任务监控总览 流程实例状态查看 任务执行状态回溯 任务执行日志查看 任务执行日志查看，方便运维实时了解任务运行状况，快 COSCon’20 & Apache Roadshow - China 速定位问题。 17 

18 . 数据源管理：可视化配置、多数据源格式支持 1. 支持可视化的数据源包括： MySql、PostgerSql、 Hive、Impala、Spark、 ClickHouse、Oracle、 插件式扩展 SqlServer、DB2、 MongoDB等。平台采用 插件式设计，支持自由扩 展数据源支持。 2. 可视化的数据源管理，数 据源统一集中管理，一次 配置，到处使用，大大减 少配置修改带来的工作量。 也方便后续数据血缘关系 的处理 COSCon’20 & Apache Roadshow - China 18 

19 . 脚本统一管理维护，多层级结构易维护 1. 支持多数据源数 据的加工、数据 导入导入脚本统 一管理，包括 python、shell、 jar包、R等多种 格式。 2. 多层级结构确保 文件管理层次清 晰，避免资源文 件散乱难以维护。 COSCon’20 & Apache Roadshow - China 19 

20 . 工作流流程支持多策略启动、优先级、告警配置 任务流程多策略支持确保ETL过程 可管理：  支持任务失败策略选择，失败 继续或结束  支持多种通知策略 1. 失败发送通知 2. 成功发送通知 3. 全部通知 4. 全部不发通知  支持优先级设定，确保高优先 级流程优先执行  支持选定节点执行ETL任务流  支持串行与并行两种执行方式 COSCon’20 & Apache Roadshow - China 20 

21 . 全方位系统监控，确保运行稳定 COSCon’20 & Apache Roadshow - China 21 

22 . 安全中心 COSCon’20 & Apache Roadshow - China 22 

23 . DolphinScheduler 1.3 新特性 – Datax 自定义模板 COSCon’20 & Apache Roadshow - China 23 

24 . DolphinScheduler 1.3 新特性 – Sqoop COSCon’20 & Apache Roadshow - China 24 

25 . DolphinScheduler 1.3 新特性 – 条件分支 COSCon’20 & Apache Roadshow - China 25 

26 . DolphinScheduler 1.3 新特性 – Ambari 插件 COSCon’20 & Apache Roadshow - China 26 

27 . DolphinScheduler 1.3 新特性 – K8S支持 云原生是趋势 优点： 弹性伸缩 充分利用服务器资源 环境隔离 缺点: K8S 运维经验 COSCon’20 & Apache Roadshow - China 27 

28 . DolphinScheduler 1.3 其他新特性  批量导出和导入工作流  流程定义复制  删除流程实例级联删除任务日志  简化配置，优化部署体验 COSCon’20 & Apache Roadshow - China 28 

29 . PART 5 架构设计变迁与挑战 2022-3-29 29