小米大数据 OLAP 实践之 Lambda Architecture

1 .OLAP实践分享：Lambda架构篇 小米大数据 武斌 

2 . 数 小米大数据架构 据 产 品 … 采⻛风 ⽤用户画像 ⻛风控系统 bi.mi.com ID Mapping 数 据 服 ⼀一致性 效率 务 汇总查询 点查询 ⾏行行为分析 模型 ADS 数据乱且随意，需分层治理理 提升业务接⼊入效率 ⼏几⼗十种服务接⼝口，重复造轮⼦子 提升数据服务开发效率 应用 降低使⽤用⻔门槛，避免孤岛 提升数据查询性能 数据摄⼊入归拢 提升数据分析效率 DWS 汇总层 DWM 可控 创新 中间层 ODS 源数据 质量量、可⽤用性 拉通全景数据 隐私合规 开发横向⼯工具 存储 数据流 变更更管理理 计算 

3 . 用“钉钉子”精神打造数据平台 数 据 服 务 重点突破、全局优化、协同发展、螺旋上升 ADS 应用层 V.S. DWS 汇总层 DWM 中间层 ODS 源数据层 存储 数据流 计算 

4 .现状 170亿 18 437 87 单⽇170亿条记录 18个业务 Batch 95分位400毫秒 Lambda 95分位87毫秒 

5 .Lambda架构 

6 .Lambda - Serving Layer 

7 .与“数据工场”的集成 

8 .案例学习 

9 .工作展望 多机房 ⾼高可⽤用 低成本 低⻔门槛 

10 .谢谢！