Apache Dolphinscheduler与政采云数据开发平台IData深度集成之路 李进勇

1 . 2022 Apache Dolphinscheduler与 政采云数据开发平台IData深 度集成之路 讲师: 李进勇 (github Id: JinyLeeChina) Apache Dolphinscheduler committer & 政采云大数据架构师 

2 .目录 CONTENTS 01 数据开发平台IData 02 IDataV1对接到DS1.3方式 03 IDataV2对接到DS2方式 04 当前不足及未来规划 

3 .01 数据开发平台IData 

4 .IData简介 集成大数据基础建设能力，统 一管理的数据资产，全场景高 拓展性数据服务。 现代化大数据 开发管理平台 提供完整的大数据开发流程， 关注并聚焦于数据的全链路生 命周期，便捷高效的满足大数 据开发需求。 

5 .IData功能介绍 

6 .IData功能特色 简单易用 统一管理 场景多样性 高扩展性 服务的构建与部署 关注并聚焦数据的全链路 紧密贴合大数据生态， 通过界面化的配转实现与第三方 均可一键化操作， 生命周期，从数据的生产、 兼顾多种主流大数据技术。 系统的对接，集成第三方系统所需 开发的流程操作可视化， 上线、使用、监控和下线 提供Sql/Spark/Python/Shell 信息并通过API方式提供。 操作简单易用 等全方位管理 /Kylin/Doris/Flink等多种任务类型。 

7 .IData功能界面 

8 .IData数仓设计 

9 .IData数仓设计界面 

10 .IData新建DAG界面 IData DAG DS 工作流 

11 .IData新建DAG界面 

12 .IData作业开发流程 

13 .IData作业开发界面 

14 .IData作业配置页面 

15 .IData运维看板界面 

16 .IData运维看板界面 

17 .IData 开源地址 官网地址: https://zcy-inc.github.io/idata-doc/ 代码地址: https://github.com/zcy-inc/idata 

18 .02 IDataV1对接到DS1.3方式 

19 .IDataV1对接到DS1.3方式 

20 .IDataV1刷新DAG流程 

21 .IDataV1与DS1.3部署架构模式 

22 .IDataV1与DS1.3对接弊端 如果IData DAG过大，同步到DS的工作流也很大，此时某 这些弊端导致 个任务更改就必须更改整个工作流，这也是DS 1.3.x版本的 关于调度信息 只能登陆DS去 大json问题 查看，也很容 易导致两端数 据的不一致， 比如在Idata中 IData中作业的告警等级、作业上线审核流程、手动调起单 暂停某个作业， 个任务、空跑、DAG及定时等核心功能无法很好与DS集成 虽然会通过刷 新整个DAG的 方式同步到DS， 但也有RD直接 在DS中更改状 态，这样就导 由于业务的特殊性，多套DS系统使用起来增加复杂度 致了不一致 

23 .03 IDataV2对接到DS2方式 

24 .IDataV2对接到DS2方式 

25 .DAG生命周期 

26 .任务上线生命周期 

27 .任务下线生命周期 

28 .任务提交方式 

29 .重构之后架构模式