PingCAP-Infra-Meetup-108-TiDB-数据访问门户的思考

1 .数据云平台-访问 陈邦义 2019-6 

2 .关于我 • 中科院软件所⼯工程师（NFS） • 阿⾥里里巴巴专家架构师 • 京东⾦金金融杭州研发中⼼心创始⼈人 • 华为IT研发管理理部互联⽹网Lab⾸首席架构师 • 杭州图尔兹信息技术有限公司创始⼈人 陈邦义 

3 .⻦鸟瞰数据平台 脱敏敏 调度 清洗 … ODS 分类 交易易数据 报表 数据建模 统计分析 … ⾎血缘 元数据 AI/预测 数据安全 存储 事务 数据平台 数仓 （Workshop） ⽇日志 交易易 

4 .Sample：R-Brain 

5 .Sample：DataWorks 阿⾥里里云 DataWorks 

6 .“看的⻅见”是数据建设的必要条件 NoSQL NewSQL ETL流程 访问 决策 数据模型 SQL Text/Log 算法/跑批 CSV/Excel Image/OCR 渲染/呈现 各种数据源 

7 .云时代数据访问要求 • ⼀一站式，⼀一个⼊入⼝口 • 云友好，Web化 • 适合复杂组织机构，主要是权限和协作流程 • 良好的API层⽅方便便集成企业其它系统 • 丰富的在线数据⼯工具适配⼴广泛的数据访问⻆角⾊色，⽐比如运营、开发、 运维、市场、⾼高管、财务等等 

8 .安全是重中之重 基础安全 VIP、⿊黑⽩白名单、数据库DCL 系统安全 SSL、验证码、跟踪审计 应⽤用安全 变更更流程、数据脱敏敏、导出⽔水印 

9 .Daios：⼀一个访问⻔门户尝试 定位企业的数据访问、 处理理、转换、迁移、 分析的数据⼯工作平台 

10 .Daios：主要功能点 调 导⼊入 ⼯工 试 管道 导出 单 虚拟 端增 集成 报 账号 收 编 强 表 藏 写 1.0 集 脱 2.0 统⼀一 统 群 3.0 SQL 单点 计 敏敏 云部 登录 审 署 多 查 数据 计 租 管 实时 询 字典 控 ODS 数仓 读取 

11 .Daios：架构 API Manager 连接管理理 部署器器 UV/PV Query 模块化 GC 优化分析 关系分析 存储 结果处理理 会 LSP 统⼀一模型 数据源统计 数据字典 话 / DMS SAS 安 导⼊入导出 异构迁移 Database 全 脱敏敏 Modler Zookeeper Redis Kafka Tools Base 

12 . 统⼀一模型 以MDA⽅方式，借助EMF之类的 ⼯工具，对SQL、NewSQL和 NoSQL之中的数据元素进⾏行行统 ⼀一建模，然后通过模型转化⼯工 具⽣生成Java模型 

13 . Language Server Protocol(LSP) Oracle DM ⽤用户 Oracle LS • Hover • Completion Oracle DM • Diagnostics • Formatting ⽤用户 • Definition MongoDB LS • Usages • ….. SQL Serer DM SQLServer LS ⽤用户 JSON RPC 

14 .Daios：⽶米饭？⾯面条？ • Native SQL/Universal SQL • ⽅方案内置/中间件 • 虚拟账号/物理理账号 • Browser/Hybrid(Electron之类) 

15 .Daios：技术挑战 • Performance(Parsing at Client/Caching) • Incremental Parsing • Plugin机制-按需加载 • Debugger(C/S) • Rendering (2D/3D on web) • Analysis(⾎血缘/动态安全） 

16 .如需进⼀一步了了解，请登录www.bintools.cn上下载 谢谢！ 社区版