申请试用
HOT
登录
注册
 
如何使用 JuiceFS 优化 Kylin 4.0 的存储性能
3 点赞
0 收藏
3下载
Juicedata
/
发布于
/
491
人观看

本篇是 2021 年 1 月 30 日 Kylin Meetup 的直播回顾,主要介绍 JuiceFS 如何优化 Kylin 4.0 的存储性能。

展开查看详情

1.如何使用 JuiceFS 优化 Kylin 4.0 的 存储性能 高昌健 Juicedata

2. u Kylin 4.0 架构简介 u Kylin on Parquet 在云上的挑战 JuiceFS 简介 Agenda u u 为什么 Kylin 和 JuiceFS 要一起使用? u 性能比较 u 未来展望

3.Kylin 4.0 架构简介

4.Kylin 4.0 架构

5.Kylin 4.0 架构 u 构建引擎和查询引擎基于 Spark u 查询引擎实现分布式查询 u Cube 文件采用 Parquet 格式直接存储在 HDFS 或对象存储 u 存储计算分离

6.Kylin on Parquet 在云上的挑战

7.对象存储 ≠ HDFS u 一致性模型 u 元数据操作性能(list、rename、delete 等) u 数据本地性 u API 请求频率限制及费用 u Hadoop 兼容性

8.JuiceFS 简介

9.JuiceFS 简介 u 开源云原生分布式文件系统 u GitHub 2700+ star u 强一致性 u 多种对象存储支持 u 多协议(POSIX、HDFS、S3、NFS、Samba 等) u 多系统(Linux、macOS、Windows) u K8s CSI 驱动 u 数据缓存 u https://github.com/juicedata/juicefs

10.JuiceFS 架构

11.为什么 Kylin 和 JuiceFS 要一起使用?

12.JuiceFS > HDFS u 强一致性 u 高性能 u 数据本地性(缓存) u 完整兼容 Hadoop 生态 u TCO 低 u 快照 u 符号链接 u 云上全托管(商业版)

13.性能比较

14.测试环境 u TPC-H 10GB u Master(1 台):阿里云 4 核 CPU、16GB 内存、200GB 高效云盘 u Worker(3 台):阿里云 4 核 CPU、16GB 内存、200GB 高效云盘 x 2 u Kylin on OSS vs. Kylin on JuiceFS

15.测试结果

16.测试总结 u Kylin on OSS 构建 Cube 失败 u 总时间 JuiceFS 快 38% u 单查询时间 JuiceFS 最多快 85%(query14),平均快 46%。

17.未来展望

18.未来展望 u 查询预读 u P2P 分布式缓存 u Profiling 工具

19.联系我们 https://github.com/juicedata/juicefs May the source be with you 🖖

20.

3 点赞
0 收藏
3下载