- 快召唤伙伴们来围观吧
- 微博 QQ QQ空间 贴吧
- 文档嵌入链接
- 复制
- 微信扫一扫分享
- 已成功复制到剪贴板
Arch Meetup#8 杭州站 - 基于 JuiceFS 搭建 Milvus 分布式集群
基于 JuiceFS 搭建 Milvus 分布式集群
JuiceFS 是一款针对云原生环境设计的共享文件系统,支持所有类型数据的管理、分析、归档和备份,被广泛应用于大数据、人工智能、日志收集等场景。JuiceFS 支持多端数据共享,可以直接作为 Milvus 底层的共享存储。
本次分享将会详细介绍如何基于 JuiceFS 共享存储搭建 Milvus 分布式集群。
展开查看详情
1 .基于 JuiceFS 搭建 Milvus 分布式集群 高昌健 Juicedata
2 .Agenda ● Milvus 在存储上的一些挑战 ● JuiceFS 简介 ● 基于 JuiceFS 的 Milvus 集群 ● 集群部署与配置 ● 展望 ● Q&A
3 .个人介绍 ● Juicedata 解决方案架构师 ● JuiceFS 开源社区维护者 ● 过往经历:腾讯、知乎、即刻、小红书
4 .Milvus 在存储上的一些挑战
5 .Milvus 1.x 架构
6 .1.x 的一些挑战 ● 内存、磁盘存储瓶颈 ● 动态扩缩容 ● 读写分离 ● 自动负载均衡
7 .Mishards
8 .共享文件系统 ● 兼容 POSIX ● 海量存储规模 ● 低时延、高吞吐 ● 并发读写 ● 强一致性 ● 数据缓存
9 .JuiceFS 简介
10 .JuiceFS 是什么? ● 开源云原生分布式文件系统 ● GitHub 3500+ star ● 强一致性 ● 多种对象存储支持 ● 多协议(POSIX、HDFS、S3、NFS、Samba 等) ● 多系统(Linux、macOS、Windows) ● Kubernetes CSI 驱动 ● 数据缓存 ● 现有社区用户:小米、理想汽车、Shopee、叮咚买菜等 ● https://github.com/juicedata/juicefs
11 .JuiceFS 架构
12 .JuiceFS vs. Amazon EFS(越大越好)
13 .JuiceFS vs. Amazon EFS(越大越好)
14 .基于 JuiceFS 的 Milvus 集群
15 .整体架构
16 .集群部署与配置
17 .部署 JuiceFS ● 准备 JuiceFS 元数据引擎(如 Redis) ● 准备对象存储(如 MinIO) ● 从 GitHub 下载最新版本客户端 ● 格式化文件系统 ● 挂载文件系统
18 .格式化 JuiceFS 文件系统 $ juicefs format \ --storage minio \ # 对象存储类型 --bucket http://127.0.0.1:9000/milvus \ # MinIO bucket 地址 --access-key minioadmin \ # MinIO 用户名 --secret-key minioadmin \ # MinIO 密码 redis://127.0.0.1:6379/1 \ # 元数据引擎地址 milvus # 文件系统名称
19 .使用 JuiceFS # 挂载文件系统 $ juicefs mount -d redis://127.0.0.1:6379/1 /var/lib/milvus/db # 运行基准测试 $ juicefs bench /var/lib/milvus/db # 查看文件系统状态 $ juicefs status /var/lib/milvus/db # 查看文件系统监控指标 $ juicefs stats /var/lib/milvus/db # 文件系统性能诊断 $ juicefs profile /var/lib/milvus/db # 获取更多帮助 $ juicefs -h
20 .Milvus 配置(server_config.yaml) ● cluster ○ enable: true ○ role: rw/ro ● general ○ meta_uri: dialect://username:password@host:port/database https://github.com/milvus-io/bootcamp/tree/1.1/deployments/juicefs
21 .展望
22 .展望 ● Milvus 2.0 x JuiceFS
23 .联系我们 https://github.com/juicedata/juicefs May the source be with you 🖖
24 . 扫码填写问卷, 欢迎关注我们的社交媒体账号 获取折叠风扇 & Milvus v2.0 限定版T 恤! 微信公众号 微信视频号 (Milvus相关最新文章) (Milvus最新视频、直播)