申请试用
HOT
登录
注册
 
账号已存在
化繁为简,全新升级,Kylin 4 再上征程
openLooKeng
/
发布于
/
69
人观看

24俞霄翔.png
俞霄翔-Kyligence 高级软件工程师 / Apache Kylin Committer & PMC

展开查看详情

1 .

2 .化繁为简, 全新升级 Kylin 4 再上征程 俞霄翔, Apache Kylin Committer & PMC

3 .About Me • 俞霄翔 • Kyligence 软件工程师 • Kylin Committer & PMC

4 .Agenda • Kylin 4 全新架构介绍 • Kylin 4 开发计划预览 • 联系 Kylin 社区

5 . Kylin 4.0 全新架构介绍 1. Kylin 是什么 2. Kylin 3 局限 3. Kylin 4 新架构

6 .Apache Kylin 介绍 • Analytical Data Warehouse For Big Data • Apache Kylin™ 是一个开源的分布式数 据仓库分析引擎,为 Hadoop 等大型分 布式分析平台之上的超大规模数据集通 过标准 SQL 查询及多维分析 ( OLAP ) 功 能,提供亚秒级的交互式分析能力。

7 .Apache Kylin 介绍 Data Mart(应用层/集市 层) Kylin DWD(明细数据层) ODS(原始数据层)

8 .Apache Kylin 介绍 有预计算,基于 Cube 出结果, I/O 少,计算少,延迟低 预聚合数据

9 .Apache Kylin 的局限一 • 查询节点单点瓶颈 Sort • 基于 Calcite 的查询引擎, 将各个节点 的 Cube 数据拉 Agg 取到查询节点进行后聚合处 理 Project • 当查询复杂、后聚合处理数 据量大的时候,容易卡死和 OOM Filter Cube

10 .Apache Kylin 的局限二 • HBase 不适合作为 Cube 数据存储 • 极致的写优化,为低延迟、写多、读少的场景而设计,而 OLAP 则是读多,写少的场景 • 列簇存储,并非真正列式存储,I/O 效率欠佳 • 单 Rowkey 索引,缺少二级索引 • 无数据类型,应用需要自己编解码,代码逻辑复杂,调试 麻烦 • 版本众多,接口兼容性差,导致 Kylin 维护难 • 需要额外维护 HBase 集群

11 .Kylin 4 Fully on Spark

12 .Cube 构建引擎 使用恰好的资源:基于构建数据源的自动资源调整 构建一步完成:构建任务放在一个 Spark Application,包含了全 局字典 、构建平表、计算Cuboid 使用 Parquet 存储字典数据和 Cube 数据

13 .查询引擎 • Spark 作为查询入口 ,只需要少部分参数调整就可以完 成大部分的性能优化 • 设置合理的Partition 大小 • 尽可能完成 Cuboid 文件剪枝 • 设置合理的 ShardBy Key 和 Rowkey https://cwiki.apache.org/confluence/disp lay/KYLIN/How+to+improve+cube+buildin g+and+query+performance

14 .Kylin 4 on TPC-H • 复杂查询有了明显的提 升 • 小查询性能仍然在亚秒 级响应 • 查询并发 Task 可以灵 活设置 https://cwiki.apache.org/confluence/disp lay/KYLIN/Performance+Benchmark+Repor t+of+Kylin+4.0.0

15 . Kylin 4.X 开发计划预览 1. Local Cache + 软亲和调度 2. 支持 Page Index 3. Fully on Spark 4. 更好的 Compute engine

16 .Local cache + 软亲和调度 • 存算分离是一个趋势,使用对象 存储可以获得近乎无限的存储空 间 • 在 Kylin 4.0 执行查询时, 主要经过以下几个阶段,其中用 虚线标注出了可以使用本地缓存 来提升性能的阶段 • File list cache:在 spark driver 端对 file status 进行缓存 • Data cache:在 spark executor 端对数据进行缓存

17 .Local cache + 软亲和调度 • 根据文件名计算 hash 缓 存文件和调度 Task • 当目标 executor 均不可 达或者没有资源供调度, 回退到 Spark 随机调度 机制 • Data Local Cache as Lib

18 .Local cache + 软亲和调度 • 无论对于简单查询还是 复杂查询都能够获得明 显的性能提升 • 高并发查询场景下存在 一定的性能损失

19 .云上 Standalone 部署 • Fully on Spark,不再依 赖于 HBase 等复杂的组 件 • Object Storage 代替 HDFS,使用 Spark Standalone 作为 Resource Manager • 轻量的架构,更加云原 生, 可以做到简单的扩 缩容

20 .支持 Page Index • Kylin 4 + Spark 3.2 + Parquet 1.12 • 点查询,平均查询延迟减少了约 Query Label Spark 3.2 关 Spark 3.2 开启 Improve 40% 闭 Index Index • 范围查询,平均查询延迟有略微 Q1(Point) 2777.74 1039.14 62.59% 下降 Q2(Point) 1788.45 1123.28 37.19% • 对第一个过滤列有依赖 Q3(Small Range) 2334.45 1113.97 52.28% Q4(Small Range + 2617.68 1133.03 56.72% Complex) Q5(Large Range) 13290.55 13490.31 -1.50% Q6(Range + Complex) 4670.27 2949.71 36.84%

21 .更好的 Metadata • 更加灵活的 Cuboid 构建 • Agg/Cuboid 级别的 Rowkey ShardBy 设置 • 消除维度数量 64 位限制 • 支持添加维度 • 目前仍在设计中: https://cwiki.apache.org/confluence/display/KYLIN/Design+ Document+for+Kylin+Metadata+V2~Draft~CN

22 .更好的 Compute Engine • 使用 Native 语言实现计算引擎,消除 GC 影响 • 利用向量化技术技术榨干硬件性能 • Arrow 作为数据交换的内存数据格式 • 更多信息请关注社区动态

23 . 联系Kylin社区 1. 邮件组 2. 微信公众号 3. 哔哩哔哩

24 .社区 • 官网:kylin.apache.org • 邮件列表:user@kylin.apache.org • 微信公众号:apachekylin • Bilibili 账号:Kyligence

25 .

0 点赞
2 收藏
2下载
确认
3秒后跳转登录页面
去登陆