Scaleph 基于Seatunnel(Incubating)的数据集成介绍 王奇

1 .Scaleph ['skəlef] 基于 Seatunnel(Incubating) 的 数据集成介绍 王奇_kalencaya 2022-06-25 

2 . 01 关于 Scaleph 02 架构&功能简介 03 SeaTunnel 社区贡献 CONTENT 04 系统演示 05 开发计划 

3 .01 关于 Scaleph 

4 .标题 关于Saleph  Apache Seatunnel (incubating) Contributor  搜索推荐工程师、大数据开发工程师 https://github.com/flowerfine/scaleph 

5 .标题 Data Integration by Flink? Why Dump 系统作为搜索引擎的数据索引应用，开发维护中的 5 大痛点： • 核心在线系统，对数据的及时性和稳定性极端高 • 业务复杂，大宽表设计 • 全量索引+实时索引 • 多样的数据来源，数据联动更新 • 数据兜底，服务兜底 https://github.com/flowerfine/scaleph 

6 .标题 Data Integration by Flink? Why 作为国内 Flink 的早期使用者，阿里巴巴在搜索推荐领域拥有悠久的历史和成功 的经验，在搜索推荐团队开发维护 dump 系统的职业经历促使我开始关注 Flink 在 A/B 实验，数据实时流之外引入 Flink 到 dump 系统的可能性 1. Blink: How Alibaba Uses Apache Flink 2. 阿里如何实现秒级百万 TPS？搜索离线大数据平台架构解读 https://github.com/flowerfine/scaleph 

7 .标题 Data Integration by Flink? Why 1. 天然的分布式支持 2. 低延迟、海量吞吐 3. 任务运维支持 4. 生态支持 5. metrics 支持 https://github.com/flowerfine/scaleph 

8 .标题 SeaTunnel? Why 1. 高性能，分布式，海量数据 2. 开箱即用，与现有生态无缝集成 3. 案例多，众多公司在实践应用 4. 社区活跃，未来可期 https://github.com/flowerfine/scaleph 

9 .标题 关于Saleph Scaleph是一个基于Apache Seatunnel(Incubating)的开源可视化数据开发&管理 系统，致力于最大程度降低实时/离线数据任务的开发门槛，为开发人员和企业提供一 站式数据开发平台。 1. Drag and Drop 可视化任务编排 2. 作业多版本管理、多数据源支持 3. Flink集群多版本、多部署模式支持 4. 实时/周期任务，任务运行日志监控管理 https://github.com/flowerfine/scaleph 

10 .标题 核心架构 Flink Scaleph Web UI Seatunnel Cluster Source Transform Sink Job Scaleph Manager Job conf file 集群管理 作业管理 资源管理 Flinkful Task Manager Seatunnel jar files 运维中心 系统管理 … Task Manager Resource jar files JobDetailsInfo … Redis Mysql https://github.com/flowerfine/scaleph 

11 .标题 功能简介 数据开发 1. 项目管理 2. 作业管理 3. 资源管理 4. 集群管理 5. 数据源管理 https://github.com/flowerfine/scaleph 

12 .标题 功能简介 运维中心 1. 实时任务 2. 周期任务 https://github.com/flowerfine/scaleph 

13 .标题 功能简介 数据标准 1. 数据元：标准字段定义，是构成数据模型的基本单元，又称词根 2. 参考数据：数仓中的标准数据字典、又称码表 系统A 类型 编码 描述 性别 F 男 参考数据映射 数仓标准 性别 M 女 类型 源系统 源编码 源描述 目标系统 目标编码 目标描述 类型 编码 描述 性别 系统A F 男 数仓标准 1 男 性别 0 未知 性别 系统A M 女 数仓标准 2 女 性别 1 男 系统B 性别 系统B 0 男性 数仓标准 1 男 性别 2 女 类型 编码 描述 性别 系统B 1 女性 数仓标准 2 女 性别 0 男性 性别 1 女性 https://github.com/flowerfine/scaleph 

14 .标题 功能亮点 Drag and Drop 可视化开发 Flinkful 插件体系 https://github.com/flowerfine/scaleph 

15 .标题 问题分享 开发中的问题 1. Seatunnel-flink-jdbc-connector 功能增强 2. Seatunnel-core-flink.jar 瘦身，资源jar文件如何打包提交Flink 3. Flink JobId 如何获取 4. Seatunnel check plugin System.exit() https://github.com/flowerfine/scaleph 

16 .标题 SeaTunnel 社区贡献 Flink connector jdbc #1316 #1432 #1781 #1843 Flink file sink #1334 https://github.com/flowerfine/scaleph 

17 .标题 系统演示 Docker 环境演示 IDE 环境演示 https://github.com/flowerfine/scaleph 

18 .标题 开发计划 后续开发计划 1. 数据集成相关输入、转换、输出插件功能丰富支持 2. 数据源种类扩展支持 3. 数据开发和DAG任务编排调度，支持SQL任务开发 https://github.com/flowerfine/scaleph 

19 .Thank you !