clickhouse在OneAPM的应用

1 .ClickHouse在OneAPM的应用 杜龙 

2 .关于OneAPM 

3 .关于OneAPM 

4 .时序数据的存储 部署简单 生态不够成熟 部署简单 易于维护 易于扩展 较易维护 生态强大 列式存储 易于扩展 列式存储 不易扩展（分库 部署难度高 良好的数据分析 分表） 生态不够成熟 支持 难以支撑大规模 不易维护 数据量 生态不够成熟 学习 

5 .OneAPM & ClickHouse  APM数据特点  实时查询  自动上报，数据量大  维度多样，多维分析  事务，数据一致性  数据修改  ClickHouse  实时查询  预聚合 - 物化视图  多维分析 - 列式存储 快  SQL接口  易于部署 

6 .OneAPM & ClickHouse 

7 .OneAPM & ClickHouse 

8 .ClickHouse线上集群 • ClickHouse clusters • 10 ~ 20 nodes（8C，16G，SSD & HDD） • 100 billion messages a week • No replication • 2~4 seconds for quering data of a month 

9 .批量写入 • 总是批量写入数据 • 8192或者更多 • Buffer 引擎 • JDBC addBatch • 使用Null引擎作为写入表引擎 • 灵活控制数据取舍 • 尽量减少写入表结构的变动 

10 .尽量避免写分布式表 nginx nginx client client shard 0 shard 1 shard 2 shard 0 shard 1 shard 2 

11 . 级联物化视图 seconds, d1, d2, d3, d4, m1, m2, m3 minutes, d1, d2, d3, d4, count(m1), sum(m1), ... minutes, d1, d2, d3, d4, count(m1), sum(m1), ... minutes, d1, d2, d3, d4, count(m1), sum(m1), ... hours, d1, d2, d3, d4, count(m1), sum(m1), ... hours, d1, d2, d3, d4, count(m1), sum(m1), ... hours, d1, d2, d3, d4, count(m1), sum(m1), ... days, d1, d2, d3, d4, count(m1), sum(m1), ... ... 

12 .Merge引擎  同构  t0,t1,t2,t3,... 具有相同的表结构 query  比如按天分表，按用户id分表 Merge  异构  不需要具有完全相同的表结构  相同含义的字段必须位于相同的位置 ... t0 t1 t2 t3 

13 .Thank You ！