基于dolphinscheduler的智能调度引擎在DDS中的应用-王子健

1 . 2022 基于DolphinScheduler的智能 调度引擎在DDS中的应用 讲师: 王子健 

2 .目录 CONTENTS 01 Cosmo++DDS 02 全新调度引擎的迁移-DS 03 引擎功能优化 04 总结 

3 . 01 1.大数据架构简介 Cosmo++DDS 2.架构设计 3.缺点与不足 

4 .大 数 据 架 构 简 介 

5 .

6 .案例一：北京某能源集团 基于Oozie job的方式在性能、权限控制等方 遇到的问题 火力发电远程告警系统中 面存在缺陷，导致出现告警延迟、无法精准控 制权限等问题 与Hadoop架构紧密耦合，不仅前期需要额外 案例二：海南某石油加工 遇到的问题 部署Hadoop集群（即使客户不使用），后期 集团云边端设备采集项目 Hadoop集群也增加了运维成本。 中 案例三：国内某军部数字 无法对整个集群的运行状态进行统计，日志的 遇到的问题 化建设项目中 粒度依赖oozie 的日志，无法更全面的统计与 维护。 

7 .遇到的问题 命令行很不友好 遇到的问题 XML不好维护 

8 . 02 1.调研阶段 全新调度引擎的迁移-DS 2.引擎接入方案(dds-adaptor) 3.实现简介 

9 .1.调研阶段 

10 .1.调研阶段 

11 .2.接入方案 

12 .2.接入方案 

13 .3.实现简介 

14 . 03 1. 节点推荐机制 引擎功能优化 2. 重跑控制策略 （更智能） 

15 .1.节点推荐机制 

16 .1.节点推荐机制 

17 .1.节点推荐机制(1) 

18 .1.节点推荐机制(2) 

19 .2.重跑控制策略 

20 . 总结 1.迁移中的最小工作量原则。 2.优化功能适配自己需求与环境。 Ending 

21 . THANKS！ Ending