申请试用
HOT
登录
注册
 
账号已存在
如何使用 JuiceFS 优化 Kylin 4.0 的存储性能
Juicedata
/
发布于
/
583
人观看

本篇是 2021 年 1 月 30 日 Kylin Meetup 的直播回顾,主要介绍 JuiceFS 如何优化 Kylin 4.0 的存储性能。

展开查看详情

1 .如何使用 JuiceFS 优化 Kylin 4.0 的 存储性能 高昌健 Juicedata

2 . u Kylin 4.0 架构简介 u Kylin on Parquet 在云上的挑战 JuiceFS 简介 Agenda u u 为什么 Kylin 和 JuiceFS 要一起使用? u 性能比较 u 未来展望

3 .Kylin 4.0 架构简介

4 .Kylin 4.0 架构

5 .Kylin 4.0 架构 u 构建引擎和查询引擎基于 Spark u 查询引擎实现分布式查询 u Cube 文件采用 Parquet 格式直接存储在 HDFS 或对象存储 u 存储计算分离

6 .Kylin on Parquet 在云上的挑战

7 .对象存储 ≠ HDFS u 一致性模型 u 元数据操作性能(list、rename、delete 等) u 数据本地性 u API 请求频率限制及费用 u Hadoop 兼容性

8 .JuiceFS 简介

9 .JuiceFS 简介 u 开源云原生分布式文件系统 u GitHub 2700+ star u 强一致性 u 多种对象存储支持 u 多协议(POSIX、HDFS、S3、NFS、Samba 等) u 多系统(Linux、macOS、Windows) u K8s CSI 驱动 u 数据缓存 u https://github.com/juicedata/juicefs

10 .JuiceFS 架构

11 .为什么 Kylin 和 JuiceFS 要一起使用?

12 .JuiceFS > HDFS u 强一致性 u 高性能 u 数据本地性(缓存) u 完整兼容 Hadoop 生态 u TCO 低 u 快照 u 符号链接 u 云上全托管(商业版)

13 .性能比较

14 .测试环境 u TPC-H 10GB u Master(1 台):阿里云 4 核 CPU、16GB 内存、200GB 高效云盘 u Worker(3 台):阿里云 4 核 CPU、16GB 内存、200GB 高效云盘 x 2 u Kylin on OSS vs. Kylin on JuiceFS

15 .测试结果

16 .测试总结 u Kylin on OSS 构建 Cube 失败 u 总时间 JuiceFS 快 38% u 单查询时间 JuiceFS 最多快 85%(query14),平均快 46%。

17 .未来展望

18 .未来展望 u 查询预读 u P2P 分布式缓存 u Profiling 工具

19 .联系我们 https://github.com/juicedata/juicefs May the source be with you 🖖

20 .

3 点赞
0 收藏
3下载
确认
3秒后跳转登录页面
去登陆