申请试用
HOT
登录
注册
 
Arch Meetup#8 杭州站 - 基于 JuiceFS 搭建 Milvus 分布式集群
Milvus.io
/
发布于
/
52
人观看
基于 JuiceFS 搭建 Milvus 分布式集群

JuiceFS 是一款针对云原生环境设计的共享文件系统,支持所有类型数据的管理、分析、归档和备份,被广泛应用于大数据、人工智能、日志收集等场景。JuiceFS 支持多端数据共享,可以直接作为 Milvus 底层的共享存储。

本次分享将会详细介绍如何基于 JuiceFS 共享存储搭建 Milvus 分布式集群。

展开查看详情

1 .基于 JuiceFS 搭建 Milvus 分布式集群 高昌健 Juicedata

2 .Agenda ● Milvus 在存储上的一些挑战 ● JuiceFS 简介 ● 基于 JuiceFS 的 Milvus 集群 ● 集群部署与配置 ● 展望 ● Q&A

3 .个人介绍 ● Juicedata 解决方案架构师 ● JuiceFS 开源社区维护者 ● 过往经历:腾讯、知乎、即刻、小红书

4 .Milvus 在存储上的一些挑战

5 .Milvus 1.x 架构

6 .1.x 的一些挑战 ● 内存、磁盘存储瓶颈 ● 动态扩缩容 ● 读写分离 ● 自动负载均衡

7 .Mishards

8 .共享文件系统 ● 兼容 POSIX ● 海量存储规模 ● 低时延、高吞吐 ● 并发读写 ● 强一致性 ● 数据缓存

9 .JuiceFS 简介

10 .JuiceFS 是什么? ● 开源云原生分布式文件系统 ● GitHub 3500+ star ● 强一致性 ● 多种对象存储支持 ● 多协议(POSIX、HDFS、S3、NFS、Samba 等) ● 多系统(Linux、macOS、Windows) ● Kubernetes CSI 驱动 ● 数据缓存 ● 现有社区用户:小米、理想汽车、Shopee、叮咚买菜等 ● https://github.com/juicedata/juicefs

11 .JuiceFS 架构

12 .JuiceFS vs. Amazon EFS(越大越好)

13 .JuiceFS vs. Amazon EFS(越大越好)

14 .基于 JuiceFS 的 Milvus 集群

15 .整体架构

16 .集群部署与配置

17 .部署 JuiceFS ● 准备 JuiceFS 元数据引擎(如 Redis) ● 准备对象存储(如 MinIO) ● 从 GitHub 下载最新版本客户端 ● 格式化文件系统 ● 挂载文件系统

18 .格式化 JuiceFS 文件系统 $ juicefs format \ --storage minio \ # 对象存储类型 --bucket http://127.0.0.1:9000/milvus \ # MinIO bucket 地址 --access-key minioadmin \ # MinIO 用户名 --secret-key minioadmin \ # MinIO 密码 redis://127.0.0.1:6379/1 \ # 元数据引擎地址 milvus # 文件系统名称

19 .使用 JuiceFS # 挂载文件系统 $ juicefs mount -d redis://127.0.0.1:6379/1 /var/lib/milvus/db # 运行基准测试 $ juicefs bench /var/lib/milvus/db # 查看文件系统状态 $ juicefs status /var/lib/milvus/db # 查看文件系统监控指标 $ juicefs stats /var/lib/milvus/db # 文件系统性能诊断 $ juicefs profile /var/lib/milvus/db # 获取更多帮助 $ juicefs -h

20 .Milvus 配置(server_config.yaml) ● cluster ○ enable: true ○ role: rw/ro ● general ○ meta_uri: dialect://username:password@host:port/database https://github.com/milvus-io/bootcamp/tree/1.1/deployments/juicefs

21 .展望

22 .展望 ● Milvus 2.0 x JuiceFS

23 .联系我们 https://github.com/juicedata/juicefs May the source be with you 🖖

24 . 扫码填写问卷, 欢迎关注我们的社交媒体账号 获取折叠风扇 & Milvus v2.0 限定版T 恤! 微信公众号 微信视频号 (Milvus相关最新文章) (Milvus最新视频、直播)

0 点赞
0 收藏
0下载
确认
3秒后跳转登录页面
去登陆