- 快召唤伙伴们来围观吧
- 微博 QQ QQ空间 贴吧
- 文档嵌入链接
- 复制
- 微信扫一扫分享
- 已成功复制到剪贴板
Arch Meetup#8 杭州站 - Milvus 在有赞的业务场景与实践
Milvus 在有赞的业务场景与实践
有赞是一家致力于服务商家成功的企业, 在有赞精选、微商城、爱逛场景下存在大量的搜索需求,其中之一的场景就是商品的相似款推荐。我们通过 Milvus 搭建底层的向量搜索服务能力,用来支持各种文本搜文本、以图搜图的场景,并且期望系统具有高可用和高并发的能力。
本次分享主要集中在 Milvus 使用的业务场景、部署架构以及遇到的问题。
展开查看详情
1 .Milvus 在有赞的业务场景与实践 数据基础平台 - 三余 (袁益梦)
2 .缘起
3 .性能测试
4 . 性能测试 跟ES对比的结论 Milvus ElasticSearch with plugin 索引种类丰富 索引只有PQ 需要额外部署维护 现有集群扩展 参数优化极端下,600W 768维数据集单机 30并发下HNSW索 3节点600W 768维数据集QPS 3000 req/s 引QPS 400 req/s IVF系列略低
5 . 多线程改造 修改reqsched_thread线程为多线程版本
6 . 多线程改造 修改reqsched_thread线程为多线程版本
7 . OMP参数 OMP_NUM_THREADS
8 . 查询请求合并机制 尝试移植查询合并机制失败
9 . 搜相似业务 支持有赞精选、微商城搜相似业务: 1. 有赞精选是所有精选池子里的商品的同款 ,跨商家的 2. 微商城是商家店铺内的商品的搜索 1000W的商品池子, 分为商品的文本数据集 和图像数据集。
10 .搜相似业务 - 数据集
11 .搜相似业务 - 查询流程
12 .搜相似业务 - 初始架构
13 . 搜相似业务 - 坑1 返回数据带非向量字段影响查询速度
14 .搜相似业务 - 坑1
15 . 搜相似业务 - 坑2 getEntityById接口慢至秒级Bug 解决: 编译未出生的 0.11.1 版本
16 . 搜相似业务 - 坑3 查询请求打断后台索引任务机制
17 . 搜相似业务 - 坑3 尝试方案一: 读写节点分离
18 . 搜相似业务 - 坑3 尝试方案二: 读写时间分离
19 . 未来展望 1. 回到稳定版本 Milvus 1.X 采用分布式 2. Milvus 2.0 - 功能性: 接口变更是否满足需求, SDK的支持 - 稳定性: 架构设计过于复杂, 是否稳定, 出现问题是否容易定位 - 性能: 并发查询的性能
20 .扫码填写问卷, 欢迎关注我们的社 获取折叠风扇 & 交媒体账号 Milvus v2.0 限定 版T恤! 微信公众号 微信视频号 (Milvus相关最新 (Milvus最新视 文章) 频、直播)
21 .