申请试用
HOT
登录
注册
 
Arch Meetup#8 杭州站 - Milvus 在有赞的业务场景与实践
0 点赞
0 收藏
3下载
Milvus.io
/
发布于
/
29
人观看
Milvus 在有赞的业务场景与实践

有赞是一家致力于服务商家成功的企业, 在有赞精选、微商城、爱逛场景下存在大量的搜索需求,其中之一的场景就是商品的相似款推荐。我们通过 Milvus 搭建底层的向量搜索服务能力,用来支持各种文本搜文本、以图搜图的场景,并且期望系统具有高可用和高并发的能力。

本次分享主要集中在 Milvus 使用的业务场景、部署架构以及遇到的问题。

展开查看详情

1.Milvus 在有赞的业务场景与实践 数据基础平台 - 三余 (袁益梦)

2.缘起

3.性能测试

4. 性能测试 跟ES对比的结论 Milvus ElasticSearch with plugin 索引种类丰富 索引只有PQ 需要额外部署维护 现有集群扩展 参数优化极端下,600W 768维数据集单机 30并发下HNSW索 3节点600W 768维数据集QPS 3000 req/s 引QPS 400 req/s IVF系列略低

5. 多线程改造 修改reqsched_thread线程为多线程版本

6. 多线程改造 修改reqsched_thread线程为多线程版本

7. OMP参数 OMP_NUM_THREADS

8. 查询请求合并机制 尝试移植查询合并机制失败

9. 搜相似业务 支持有赞精选、微商城搜相似业务: 1. 有赞精选是所有精选池子里的商品的同款 ,跨商家的 2. 微商城是商家店铺内的商品的搜索 1000W的商品池子, 分为商品的文本数据集 和图像数据集。

10.搜相似业务 - 数据集

11.搜相似业务 - 查询流程

12.搜相似业务 - 初始架构

13. 搜相似业务 - 坑1 返回数据带非向量字段影响查询速度

14.搜相似业务 - 坑1

15. 搜相似业务 - 坑2 getEntityById接口慢至秒级Bug 解决: 编译未出生的 0.11.1 版本

16. 搜相似业务 - 坑3 查询请求打断后台索引任务机制

17. 搜相似业务 - 坑3 尝试方案一: 读写节点分离

18. 搜相似业务 - 坑3 尝试方案二: 读写时间分离

19. 未来展望 1. 回到稳定版本 Milvus 1.X 采用分布式 2. Milvus 2.0 - 功能性: 接口变更是否满足需求, SDK的支持 - 稳定性: 架构设计过于复杂, 是否稳定, 出现问题是否容易定位 - 性能: 并发查询的性能

20.扫码填写问卷, 欢迎关注我们的社 获取折叠风扇 & 交媒体账号 Milvus v2.0 限定 版T恤! 微信公众号 微信视频号 (Milvus相关最新 (Milvus最新视 文章) 频、直播)

21.

0 点赞
0 收藏
3下载