PingCAP-Infra-Meetup-108-TiDB-数据访问门户的思考

李霞老师本次分享的主要内容包括: •F1 online asynchronous DDL 的原理。 •TiDB DDL 的基本框架,详细讲述其实现。 •Add index 的具体流程,并简介了其他几种 DDL 语句实现特性。 •DDL 的一些辅助功能。 最后结合之前介绍的原理和实现,讲解了常见的几个问题以及解决方式。
展开查看详情

1.数据云平台-访问 陈邦义 2019-6

2.关于我 • 中科院软件所⼯工程师(NFS) • 阿⾥里里巴巴专家架构师 • 京东⾦金金融杭州研发中⼼心创始⼈人 • 华为IT研发管理理部互联⽹网Lab⾸首席架构师 • 杭州图尔兹信息技术有限公司创始⼈人 陈邦义

3.⻦鸟瞰数据平台 脱敏敏 调度 清洗 … ODS 分类 交易易数据 报表 数据建模 统计分析 … ⾎血缘 元数据 AI/预测 数据安全 存储 事务 数据平台 数仓 (Workshop) ⽇日志 交易易

4.Sample:R-Brain

5.Sample:DataWorks 阿⾥里里云 DataWorks

6.“看的⻅见”是数据建设的必要条件 NoSQL NewSQL ETL流程 访问 决策 数据模型 SQL Text/Log 算法/跑批 CSV/Excel Image/OCR 渲染/呈现 各种数据源

7.云时代数据访问要求 • ⼀一站式,⼀一个⼊入⼝口 • 云友好,Web化 • 适合复杂组织机构,主要是权限和协作流程 • 良好的API层⽅方便便集成企业其它系统 • 丰富的在线数据⼯工具适配⼴广泛的数据访问⻆角⾊色,⽐比如运营、开发、 运维、市场、⾼高管、财务等等

8.安全是重中之重 基础安全 VIP、⿊黑⽩白名单、数据库DCL 系统安全 SSL、验证码、跟踪审计 应⽤用安全 变更更流程、数据脱敏敏、导出⽔水印

9.Daios:⼀一个访问⻔门户尝试 定位企业的数据访问、 处理理、转换、迁移、 分析的数据⼯工作平台

10.Daios:主要功能点 调 导⼊入 ⼯工 试 管道 导出 单 虚拟 端增 集成 报 账号 收 编 强 表 藏 写 1.0 集 脱 2.0 统⼀一 统 群 3.0 SQL 单点 计 敏敏 云部 登录 审 署 多 查 数据 计 租 管 实时 询 字典 控 ODS 数仓 读取

11.Daios:架构 API Manager 连接管理理 部署器器 UV/PV Query 模块化 GC 优化分析 关系分析 存储 结果处理理 会 LSP 统⼀一模型 数据源统计 数据字典 话 / DMS SAS 安 导⼊入导出 异构迁移 Database 全 脱敏敏 Modler Zookeeper Redis Kafka Tools Base

12. 统⼀一模型 以MDA⽅方式,借助EMF之类的 ⼯工具,对SQL、NewSQL和 NoSQL之中的数据元素进⾏行行统 ⼀一建模,然后通过模型转化⼯工 具⽣生成Java模型

13. Language Server Protocol(LSP) Oracle DM ⽤用户 Oracle LS • Hover • Completion Oracle DM • Diagnostics • Formatting ⽤用户 • Definition MongoDB LS • Usages • ….. SQL Serer DM SQLServer LS ⽤用户 JSON RPC

14.Daios:⽶米饭?⾯面条? • Native SQL/Universal SQL • ⽅方案内置/中间件 • 虚拟账号/物理理账号 • Browser/Hybrid(Electron之类)

15.Daios:技术挑战 • Performance(Parsing at Client/Caching) • Incremental Parsing • Plugin机制-按需加载 • Debugger(C/S) • Rendering (2D/3D on web) • Analysis(⾎血缘/动态安全)

16.如需进⼀一步了了解,请登录www.bintools.cn上下载 谢谢! 社区版

TiDB 是一款定位于在线事务处理/在线分析处理( HTAP: Hybrid Transactional/Analytical Processing)的融合型数据库产品,实现了一键水平伸缩,强一致性的多副本数据安全,分布式事务,实时 OLAP 等重要特性。