申请试用
HOT
登录
注册
 
Apache Doris 0.15 新特性解读和RoadMap
openLooKeng
/
发布于
/
97
人观看

19陈明雨.png
陈明雨-百度资深研发工程师 / Apache Doris PPMC成员

展开查看详情

1 .

2 .Apache Doris 0.15 版本特性解读与 RoadMap 陈明雨 Apache Doris PPMC

3 .01 认识 Doris 02 0.15新版本介绍 03 Road Map

4 . 01 认识Doris

5 .Apache Doris 2008 2009 2012 • 正式上线 • 进行了通用 化改造, 开始 • 随百度业务 飞速发展 ,对 • 应用于百度凤巢统计报表的 承接公司内 部其他报 表系 Doris的性能、可用性、拓 需求场景,上线后数据更新 统 展性进行了全面升级 频率从天级提升至分钟级 • 助力百度统计2.0成为国内 • 承担百度所 有统计报 表业 最大的中文网站分析工具 务 01 02 03

6 . Apache Doris 2013 2017 2018 • 进 行 MPP 框架 的 升级 , 开 • 正式开源 • 贡献给Apache社区,更名 始支持分布式计算 • 希望能帮助 更多人 、 让更 为Apache Doris • 全新的数据模型,查询存储 多人帮助Doris • 截止目前,社区2000+star, 效率大幅提升 Contributor 160+,一线 互联网广泛使用 04 05 06

7 .产品定位 Apache Doris是由百度自主研发并贡献给Apache基金会的一款MPP架构分析型数据库产品,为 目前国内唯一的分析型数据库孵化项目。 Apache Doris以极简易用的特性被业内熟知,全面兼容MySQL协议,与主流大数据生态良好兼 容;Apache Doris产品性能卓越,通过现代化的MPP框架、向量化执行引擎以及智能物化视图等 多种加速技术,实现PB级数据毫秒/秒级响应,适用于高并发、高吞吐、低延时的需求场景。 自开源以来,Apache Doris已获得美团、京东、小米等一线互联网公司广泛使用,超过100家企 业长期运行Doris在其生产环境中。

8 .Doris在数据流中的定位

9 . MySQL Tools (MySQL Networking ) 整体架构简单,产品易用 • 高度兼容MySQL协议 FE FE FE FE (Leader,JAVA ) (Follower,JAVA ) (Follower,JAVA ) (Observer,JAVA) • 主从架构,不依赖任何其他组件 • FE负责解析/生成/调度查询计划 • BE负责执行查询计划、数据存储 BE BE BE BE (C++) (C++) (C++) (C++) • 任何节点都可线性扩展

10 . 分布式副本管理 数据自动修复与均衡 MySQL Client Master FE FE BE BE BE BE BE BE BE Table Tablet 1 Tablet 1 Tablet 2 Tablet 1 Tablet 1 Tablet 2 Tablet 1 Tablet 1 Tablet 2 Tablet 3 Tablet 2 Tablet 3 Tablet 3 Tablet 2 Tablet 3 Tablet 2 Tablet 3 Tablet 2 Tablet 3 Tablet 1 Tablet 2 Tablet 3 Tablet 1 Store 1 Store 2 Store 3 Store 1 Store 2 Store 3 Store 4

11 .列式存储和MPP查询引擎 • 高效压缩与编码 • 分布式查询 • 火山模型

12 . ID 日期 城市 消费 物化视图 1 2021-06-26 北京 100 2 2021-06-27 北京 200 • 明细 + 聚合统一模型 3 2021-06-27 上海 300 • 数据一致 • 查询自动路由 日期 SUM(消费) 日期 COUNT_DISTINCT(ID) 2021-06-26 100 2021-06-26 1 2021-06-27 500 (200+300) 2021-06-27 2 城市 MAX(消费) 北京 200 上海 300

13 . 更多特性 • 导入事务性保证 • 高并发查询 • 冷热数据分级存储 • Doris on ES • …

14 . 02 0.15新版本介绍

15 .资源划分与隔离 • 在线离线业务混合 • 大查询打满资源 • 多个业务部门相互干扰 • … • 资源隔离 • IO、CPU、MEM • 计算靠近存储

16 .资源划分与隔离 • Resource Group • 节点级别隔离 • Replica Allocation • 同一份数据,不同资源组 • User privilege • 资源组权限 • 资源组的动态调整 • 资源组变更 • 副本迁移 • 权限变更 • 多套集群统一管理

17 .Runtime Filter • 减少Probe侧计算量

18 .Runtime Filter • 自动穿透 • Runtime Filter 合并

19 .Runtime Filter Star Schema Benchmark

20 .MySQL Binlog同步 • 进一步简化数据链路 • Insert、Update、Delete • 一个作业同步多张MySQL表 • 准实时数据同步

21 .更多功能 • Update 语法支持 • 更便捷的数据更新操作 • List 分区支持 • 针对可枚举类型的分区管理 • String 类型支持 • 最大2GB的字符列类型 • 事务性Insert • 可以通过begin;insert;commit方式导入数据 • Flink Doris Connector • DataX doriswriter

22 .One more thing…

23 .向量化执行引擎 • 查询层 • Scan、Aggregation、Sort、Exchange(Done) • Join (Almost Done) • Window Function (One the way) • 存储层 • Filter (One the way) • Lazy Materialization (One the way) • 完全体 • Q4

24 . 02 选择·Doris Palo 发行版 • http://palo.baidu.com • 0.15.1-rc03 • 包含Apache Doris 0.15(发版准备中)全部功能 • 支持单表查询层向量化执行

25 . 03 社区与RoadMap

26 .Doris 社区 • 200+ Contributor • 在线开发者会议: https://github.com/apache/incubator-doris/issues/6521 • 0.15 发版中 • 源码阅读系列课程

27 .RoadMap • 向量化执行引擎 • 全新的查询优化器 • 更低的成本和更好的弹性 • 数据湖探索

28 .欢迎加入 Apache Doris 社区 • 官方网站: http://doris.incubator.apache.org • Github:https://github.com/apache/incubator-doris • Palo 发行版:http://palo.baidu.com/home • 百度云托管服务: ApacheDoris 微信公众号 https://cloud.baidu.com/product/palo.html

29 .

0 点赞
3 收藏
6下载