Apache DolphinScheduler 在联通计费环境中的应用

1 . 2022 DolphinScheduler 在联通计费环境中的 应用 柏雪松 联通软研院 

2 .目录 CONTENTS 01 总体使用情况 02 业务专题分享 xx 03 下一步计划 

3 . 01 部署集群情况 总体使用情况 平台使用情况 业务运行情况 

4 .业务使用情况 主要业务组件 稽核 分摊 • 青海移网，IPTV • 异地双活数据 稽核 • 出账业务测试 • 重庆组网稽核 • …… • …… 计费 其他 • 计费争议分析 • 流量突降用户激活 • 计费感知提升 • 副卡沉默用户激活 • …… • 投诉用户统计 • …… 

5 . 02 跨集群双活业务调用 业务专题分享 AI开发同步任务运行 业务查询逻辑持久化 数据湖数据统一治理 

6 .跨集群双活业务调用 • 解决跨集群数据交互和任务调用之间配合和统一操作 目标 • 1、解决跨集群数据同步 问题 • 2、跨集群任务调用 • 1、使用alluxio解决跨集群数据共享和同步 方案 • 2、利用接口机跨集群部署dolphin，共享任务流数据 

7 . 跨集群双活业务调用 数据流程 数据到位 数据完整 数据到位 数据传输 数据稽核 检测 性校验 通知 集群A 集群B 访问方案 • 小批量数据：将hdfs上数据挂载到alluxio中，通过访问alluxio解 决不同地域数据访问 • 大批量数据：使用dolphin定时调度数据同步任务，通过spark和 distcp进行数据传输 核心问题 • 数据流程定时，任务补数重跑 数据交换传输 distcp/spark 

8 .跨集群双活业务调用 A地 B地 测试环境和生产环境任务无缝切换 跨集群任务依赖校验 节点级的任务环境变量 接口机 接口机 集群A1-测试 集群B1-生产 接口机 虚拟集群 集群A2-生产 任务流共享 数据同步 数据校验 

9 .AI开发同步任务运行 • 提供AI开发环境和生产运行环境打通和调用 目标 • 1、解决AI本地模型数据和集群数据的统一访问 • 2、解决开发脚本到生产定时任务的一键部署 问题 • 1、alluxio-fuse打通本地和集群存储 • 2、dolphin共享本地和集群存储 方案 

10 .AI开发同步任务运行 Alluxio fuse • AI本地模型数据和集群数据的统一访问 AI集群 Dolphinscheduler 数据集群 • 跨集群实现大数据计算和AI模型训练的一站访问 本地数据 

11 .AI开发同步任务运行 dolphin资源中心挂载访问alluxio • 实现dolphin同时访问本地文件和集群文 资源中心 件 训练推理脚本 本地文件 集群文件 ALLUXIO FUSE 训练推理数据 

12 .业务查询逻辑持久化 • 提供即时查询到定时任务加工的开发调用 目标 • 1、解决presto运行大任务时资源隔离和占用问题 • 2、解决由开发到任务上线的打通 问题 • 1、presto on spark即时查询到定时任务任务转换 • 2、Presto接入dolphin实时运行 方案 

13 .业务查询逻辑持久化 问题 • presto用户计算资源隔离 • presto on yarn 性能损失20%-30% 方案 • presto on spark 解决用户资源隔离和不 原 现 同资源调度系统 方 方 • 不用改写spark sql 案 案 物理集群/内存 

14 .业务查询逻辑持久化 创建任务 DolphinScheduler 打通调试开发到生产定时运行 API 流程， • hue:preseto sql开发 • git:sql版本控制 • alluxio fuse: sql同步挂载 • dolphinscheduler:定时任务 sql开发/调试 任务定时运行 ALLUXIO FUSE 版本控制 同步脚本 

15 .数据湖数据统一治理 • 管理数据湖数据，统一入湖任务和监控 目标 • 解决flink入湖任务调用与监控问题 问题 • 利用dolphin调度监控入湖任务 方案 

16 .数据湖数据统一治理 分级访问数据 • 数据资产：同步底层数据信息 • 数据查询，数据探索：直连计算引擎 数据集成 数据查询 数据资产 • 数据集成，数据分发：dolphinscheduler 定时调度计算引擎 数据分发 数据探索 数据稽核 

17 . 03 资源中心 下一步计划与需求 用户管理 任务节点 

18 .•下一步计划 资源中心相关 • 全用户资源授权 • 租户组资源共享 用户权限相关 • 租户级管理员 任务节点相关 • sql节点选择sql文件 • http节点自定义json解析 

19 . THANKS！ Ending