申请试用
HOT
登录
注册
 
Arch Meetup#8 杭州站 - 基于 JuiceFS 搭建 Milvus 分布式集群
0 点赞
0 收藏
0下载
Milvus.io
/
发布于
/
21
人观看
基于 JuiceFS 搭建 Milvus 分布式集群

JuiceFS 是一款针对云原生环境设计的共享文件系统,支持所有类型数据的管理、分析、归档和备份,被广泛应用于大数据、人工智能、日志收集等场景。JuiceFS 支持多端数据共享,可以直接作为 Milvus 底层的共享存储。

本次分享将会详细介绍如何基于 JuiceFS 共享存储搭建 Milvus 分布式集群。

展开查看详情

1.基于 JuiceFS 搭建 Milvus 分布式集群 高昌健 Juicedata

2.Agenda ● Milvus 在存储上的一些挑战 ● JuiceFS 简介 ● 基于 JuiceFS 的 Milvus 集群 ● 集群部署与配置 ● 展望 ● Q&A

3.个人介绍 ● Juicedata 解决方案架构师 ● JuiceFS 开源社区维护者 ● 过往经历:腾讯、知乎、即刻、小红书

4.Milvus 在存储上的一些挑战

5.Milvus 1.x 架构

6.1.x 的一些挑战 ● 内存、磁盘存储瓶颈 ● 动态扩缩容 ● 读写分离 ● 自动负载均衡

7.Mishards

8.共享文件系统 ● 兼容 POSIX ● 海量存储规模 ● 低时延、高吞吐 ● 并发读写 ● 强一致性 ● 数据缓存

9.JuiceFS 简介

10.JuiceFS 是什么? ● 开源云原生分布式文件系统 ● GitHub 3500+ star ● 强一致性 ● 多种对象存储支持 ● 多协议(POSIX、HDFS、S3、NFS、Samba 等) ● 多系统(Linux、macOS、Windows) ● Kubernetes CSI 驱动 ● 数据缓存 ● 现有社区用户:小米、理想汽车、Shopee、叮咚买菜等 ● https://github.com/juicedata/juicefs

11.JuiceFS 架构

12.JuiceFS vs. Amazon EFS(越大越好)

13.JuiceFS vs. Amazon EFS(越大越好)

14.基于 JuiceFS 的 Milvus 集群

15.整体架构

16.集群部署与配置

17.部署 JuiceFS ● 准备 JuiceFS 元数据引擎(如 Redis) ● 准备对象存储(如 MinIO) ● 从 GitHub 下载最新版本客户端 ● 格式化文件系统 ● 挂载文件系统

18.格式化 JuiceFS 文件系统 $ juicefs format \ --storage minio \ # 对象存储类型 --bucket http://127.0.0.1:9000/milvus \ # MinIO bucket 地址 --access-key minioadmin \ # MinIO 用户名 --secret-key minioadmin \ # MinIO 密码 redis://127.0.0.1:6379/1 \ # 元数据引擎地址 milvus # 文件系统名称

19.使用 JuiceFS # 挂载文件系统 $ juicefs mount -d redis://127.0.0.1:6379/1 /var/lib/milvus/db # 运行基准测试 $ juicefs bench /var/lib/milvus/db # 查看文件系统状态 $ juicefs status /var/lib/milvus/db # 查看文件系统监控指标 $ juicefs stats /var/lib/milvus/db # 文件系统性能诊断 $ juicefs profile /var/lib/milvus/db # 获取更多帮助 $ juicefs -h

20.Milvus 配置(server_config.yaml) ● cluster ○ enable: true ○ role: rw/ro ● general ○ meta_uri: dialect://username:password@host:port/database https://github.com/milvus-io/bootcamp/tree/1.1/deployments/juicefs

21.展望

22.展望 ● Milvus 2.0 x JuiceFS

23.联系我们 https://github.com/juicedata/juicefs May the source be with you 🖖

24. 扫码填写问卷, 欢迎关注我们的社交媒体账号 获取折叠风扇 & Milvus v2.0 限定版T 恤! 微信公众号 微信视频号 (Milvus相关最新文章) (Milvus最新视频、直播)

0 点赞
0 收藏
0下载