申请试用
HOT
登录
注册
 
Arch Meetup#8 杭州站 - Milvus 在有赞的业务场景与实践
Milvus.io
/
发布于
/
70
人观看
Milvus 在有赞的业务场景与实践

有赞是一家致力于服务商家成功的企业, 在有赞精选、微商城、爱逛场景下存在大量的搜索需求,其中之一的场景就是商品的相似款推荐。我们通过 Milvus 搭建底层的向量搜索服务能力,用来支持各种文本搜文本、以图搜图的场景,并且期望系统具有高可用和高并发的能力。

本次分享主要集中在 Milvus 使用的业务场景、部署架构以及遇到的问题。

展开查看详情

1 .Milvus 在有赞的业务场景与实践 数据基础平台 - 三余 (袁益梦)

2 .缘起

3 .性能测试

4 . 性能测试 跟ES对比的结论 Milvus ElasticSearch with plugin 索引种类丰富 索引只有PQ 需要额外部署维护 现有集群扩展 参数优化极端下,600W 768维数据集单机 30并发下HNSW索 3节点600W 768维数据集QPS 3000 req/s 引QPS 400 req/s IVF系列略低

5 . 多线程改造 修改reqsched_thread线程为多线程版本

6 . 多线程改造 修改reqsched_thread线程为多线程版本

7 . OMP参数 OMP_NUM_THREADS

8 . 查询请求合并机制 尝试移植查询合并机制失败

9 . 搜相似业务 支持有赞精选、微商城搜相似业务: 1. 有赞精选是所有精选池子里的商品的同款 ,跨商家的 2. 微商城是商家店铺内的商品的搜索 1000W的商品池子, 分为商品的文本数据集 和图像数据集。

10 .搜相似业务 - 数据集

11 .搜相似业务 - 查询流程

12 .搜相似业务 - 初始架构

13 . 搜相似业务 - 坑1 返回数据带非向量字段影响查询速度

14 .搜相似业务 - 坑1

15 . 搜相似业务 - 坑2 getEntityById接口慢至秒级Bug 解决: 编译未出生的 0.11.1 版本

16 . 搜相似业务 - 坑3 查询请求打断后台索引任务机制

17 . 搜相似业务 - 坑3 尝试方案一: 读写节点分离

18 . 搜相似业务 - 坑3 尝试方案二: 读写时间分离

19 . 未来展望 1. 回到稳定版本 Milvus 1.X 采用分布式 2. Milvus 2.0 - 功能性: 接口变更是否满足需求, SDK的支持 - 稳定性: 架构设计过于复杂, 是否稳定, 出现问题是否容易定位 - 性能: 并发查询的性能

20 .扫码填写问卷, 欢迎关注我们的社 获取折叠风扇 & 交媒体账号 Milvus v2.0 限定 版T恤! 微信公众号 微信视频号 (Milvus相关最新 (Milvus最新视 文章) 频、直播)

21 .

0 点赞
0 收藏
3下载
确认
3秒后跳转登录页面
去登陆