Apache Doris 0.15 新特性解读和RoadMap

1 .

2 .Apache Doris 0.15 版本特性解读与 RoadMap 陈明雨 Apache Doris PPMC 

3 .01 认识 Doris 02 0.15新版本介绍 03 Road Map 

4 . 01 认识Doris 

5 .Apache Doris 2008 2009 2012 • 正式上线 • 进行了通用 化改造， 开始 • 随百度业务 飞速发展 ，对 • 应用于百度凤巢统计报表的 承接公司内 部其他报 表系 Doris的性能、可用性、拓 需求场景，上线后数据更新 统 展性进行了全面升级 频率从天级提升至分钟级 • 助力百度统计2.0成为国内 • 承担百度所 有统计报 表业 最大的中文网站分析工具 务 01 02 03 

6 . Apache Doris 2013 2017 2018 • 进 行 MPP 框架 的 升级 ， 开 • 正式开源 • 贡献给Apache社区，更名 始支持分布式计算 • 希望能帮助 更多人 、 让更 为Apache Doris • 全新的数据模型，查询存储 多人帮助Doris • 截止目前，社区2000+star， 效率大幅提升 Contributor 160+，一线 互联网广泛使用 04 05 06 

7 .产品定位 Apache Doris是由百度自主研发并贡献给Apache基金会的一款MPP架构分析型数据库产品，为 目前国内唯一的分析型数据库孵化项目。 Apache Doris以极简易用的特性被业内熟知，全面兼容MySQL协议，与主流大数据生态良好兼 容；Apache Doris产品性能卓越，通过现代化的MPP框架、向量化执行引擎以及智能物化视图等 多种加速技术，实现PB级数据毫秒/秒级响应，适用于高并发、高吞吐、低延时的需求场景。 自开源以来，Apache Doris已获得美团、京东、小米等一线互联网公司广泛使用，超过100家企 业长期运行Doris在其生产环境中。 

8 .Doris在数据流中的定位 

9 . MySQL Tools （MySQL Networking ） 整体架构简单，产品易用 • 高度兼容MySQL协议 FE FE FE FE （Leader,JAVA ） （Follower,JAVA ） （Follower,JAVA ） （Observer,JAVA） • 主从架构，不依赖任何其他组件 • FE负责解析/生成/调度查询计划 • BE负责执行查询计划、数据存储 BE BE BE BE （C++） (C++) (C++) (C++) • 任何节点都可线性扩展 

10 . 分布式副本管理 数据自动修复与均衡 MySQL Client Master FE FE BE BE BE BE BE BE BE Table Tablet 1 Tablet 1 Tablet 2 Tablet 1 Tablet 1 Tablet 2 Tablet 1 Tablet 1 Tablet 2 Tablet 3 Tablet 2 Tablet 3 Tablet 3 Tablet 2 Tablet 3 Tablet 2 Tablet 3 Tablet 2 Tablet 3 Tablet 1 Tablet 2 Tablet 3 Tablet 1 Store 1 Store 2 Store 3 Store 1 Store 2 Store 3 Store 4 

11 .列式存储和MPP查询引擎 • 高效压缩与编码 • 分布式查询 • 火山模型 

12 . ID 日期 城市 消费 物化视图 1 2021-06-26 北京 100 2 2021-06-27 北京 200 • 明细 + 聚合统一模型 3 2021-06-27 上海 300 • 数据一致 • 查询自动路由 日期 SUM(消费) 日期 COUNT_DISTINCT(ID) 2021-06-26 100 2021-06-26 1 2021-06-27 500 (200+300) 2021-06-27 2 城市 MAX(消费) 北京 200 上海 300 

13 . 更多特性 • 导入事务性保证 • 高并发查询 • 冷热数据分级存储 • Doris on ES • … 

14 . 02 0.15新版本介绍 

15 .资源划分与隔离 • 在线离线业务混合 • 大查询打满资源 • 多个业务部门相互干扰 • … • 资源隔离 • IO、CPU、MEM • 计算靠近存储 

16 .资源划分与隔离 • Resource Group • 节点级别隔离 • Replica Allocation • 同一份数据，不同资源组 • User privilege • 资源组权限 • 资源组的动态调整 • 资源组变更 • 副本迁移 • 权限变更 • 多套集群统一管理 

17 .Runtime Filter • 减少Probe侧计算量 

18 .Runtime Filter • 自动穿透 • Runtime Filter 合并 

19 .Runtime Filter Star Schema Benchmark 

20 .MySQL Binlog同步 • 进一步简化数据链路 • Insert、Update、Delete • 一个作业同步多张MySQL表 • 准实时数据同步 

21 .更多功能 • Update 语法支持 • 更便捷的数据更新操作 • List 分区支持 • 针对可枚举类型的分区管理 • String 类型支持 • 最大2GB的字符列类型 • 事务性Insert • 可以通过begin;insert;commit方式导入数据 • Flink Doris Connector • DataX doriswriter 

22 .One more thing… 

23 .向量化执行引擎 • 查询层 • Scan、Aggregation、Sort、Exchange(Done) • Join (Almost Done) • Window Function (One the way) • 存储层 • Filter (One the way) • Lazy Materialization (One the way) • 完全体 • Q4 

24 . 02 选择·Doris Palo 发行版 • http://palo.baidu.com • 0.15.1-rc03 • 包含Apache Doris 0.15(发版准备中)全部功能 • 支持单表查询层向量化执行 

25 . 03 社区与RoadMap 

26 .Doris 社区 • 200+ Contributor • 在线开发者会议: https://github.com/apache/incubator-doris/issues/6521 • 0.15 发版中 • 源码阅读系列课程 

27 .RoadMap • 向量化执行引擎 • 全新的查询优化器 • 更低的成本和更好的弹性 • 数据湖探索 

28 .欢迎加入 Apache Doris 社区 • 官方网站： http://doris.incubator.apache.org • Github：https://github.com/apache/incubator-doris • Palo 发行版：http://palo.baidu.com/home • 百度云托管服务： ApacheDoris 微信公众号 https://cloud.baidu.com/product/palo.html 

29 .