探探分布式存储的实践

1 .探探分布式存储的实践 彭亮 

2 . Agenda ● Why tantan db ● What is tantan db ● Golang ● Roadmap 

3 .Why do we need tantan db? 

4 . tantan 左滑无感，右滑喜欢 破冰利器，附近动态 擦肩而过，回眸一笑 

5 . tantan 业务特性 数据特性 • 大数据量 • 分区 • 数据快速增长 • 聚集性 Clustered • 低时延 

6 . 需求 架构师 使用者 DBA • 分布式 • SQL • 存储成本 • 可用性 • BASE vs ACID • 运维友好 • 扩展性 • PACELC • 容灾能力 • 定制化 

7 . 开源方案 NoSQL NewSQL • SQL限制 • 存储成本 • 存储成本 • 强一致性 • 定制化 • ACID • 延迟 • 定制化 

8 .What is tantan db(ttdb)? 

9 .架构 

10 .SQL 

11 .SQL 执行 

12 . SQL 优化器 Rule based optimizer • 列裁剪(prune columns) • 谓词下推(push down predicate) • 聚合下推(push down aggregation) • topN下推 (push down topN) 

13 .Volcano model executor 

14 .Vectorization model executor 

15 .数据分片 

16 .数据分片 

17 .扩容 

18 .高可用 

19 . 故障检测 中心化 无中心化 Gossip and Failure • Timeout(binary or accrual) Detection vs false positive • P2P • Network partition • Outsourced • Convergence 

20 .故障检测 

21 .故障恢复 

22 .故障恢复 Stateful • up-to-date 

23 .故障恢复 Stateless • preemptive • queue 

24 .重新配置 

25 .故障恢复了? cache miss 

26 .故障恢复了? cache hit 

27 .结果与产出 一致性与可用性 

28 .业务应用 

29 .擦肩而过