小米大数据 OLAP 实践之 Lambda Architecture

在2018年8月Apache Kylin meetup@北京活动上,小米大数据架构师分享了小米 OLAP 平台,基于 Apache Kylin 和其它实时引擎组成的 Lambda 架构,以满足业务对数据查询性能以及及时性的多重要求。
展开查看详情

1.OLAP实践分享:Lambda架构篇 小米大数据 武斌

2. 数 小米大数据架构 据 产 品 … 采⻛风 ⽤用户画像 ⻛风控系统 bi.mi.com ID Mapping 数 据 服 ⼀一致性 效率 务 汇总查询 点查询 ⾏行行为分析 模型 ADS 数据乱且随意,需分层治理理 提升业务接⼊入效率 ⼏几⼗十种服务接⼝口,重复造轮⼦子 提升数据服务开发效率 应用 降低使⽤用⻔门槛,避免孤岛 提升数据查询性能 数据摄⼊入归拢 提升数据分析效率 DWS 汇总层 DWM 可控 创新 中间层 ODS 源数据 质量量、可⽤用性 拉通全景数据 隐私合规 开发横向⼯工具 存储 数据流 变更更管理理 计算

3. 用“钉钉子”精神打造数据平台 数 据 服 务 重点突破、全局优化、协同发展、螺旋上升 ADS 应用层 V.S. DWS 汇总层 DWM 中间层 ODS 源数据层 存储 数据流 计算

4.现状 170亿 18 437 87 单⽇170亿条记录 18个业务 Batch 95分位400毫秒 Lambda 95分位87毫秒

5.Lambda架构

6.Lambda - Serving Layer

7.与“数据工场”的集成

8.案例学习

9.工作展望 多机房 ⾼高可⽤用 低成本 低⻔门槛

10.谢谢!

Kyligence (上海跬智信息技术有限公司)由首个来自中国的 Apache 软件基金会顶级开源项目 Apache Kylin 核心团队组建,是专注于大数据分析领域的数据科技公司,通过前沿数据技术的分析认知来加速用户关键商业决策是其使命。