Milvus Community Conf 2020_贝壳找房:向量搜索平台化实现

演讲主题简介:
随着计算机技术及机器学习技术的发现,特征向量作为一种对多媒体数据(复杂文本、语音、图片)的描述方式,逐渐成熟起来,而对向量相似类计算也逐渐成为一种通用的能力。
近些年,贝壳找房业务迅猛发展,在搜索、推荐、图谱、智能客服等业务场景下,对向量搜索提出了比较强的需求。面对多业务的需求,结合对业界已有工具的调研,最终选择了 Milvus 做为底层引擎,建设了一个通用的向量搜索平台,以解决“搜索”这个共性的问题。

本次分享主要聚焦以下几点:

  1. 技术选型的考虑点
  2. 平台整体架构及引擎部署实践
  3. 几个业务场景的简单介绍
展开查看详情

1. ⻉壳找房,Milvus实践 — 向量搜索平台介绍 ⻉壳找房 - 孙要⻜ 2020 年10⽉17⽇ 1 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED

2. 内容 ✓ 1 ⼀个典型场景 ✓ 2 技术选型 ✓ 3 我们做了什么 ✓ 4 ⽀持哪些场景 ✓ 5 规划 2 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED

3. 1 ⼀个典型场景 获取原始数据 提取特征 相似特征搜索 3 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED

4. 2.1 技术选型 - 对⽐传统搜索 4 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED

5. 2.2 技术选型 - why milvus ? 对faiss、annoy开源库进 ⾏了定制 开箱即⽤,读写分离,⽀ 持⾼可⽤部署 ⽀持多属性、多索引类型 ⽀持多种处理器 ⽀持百亿级数据搜索 活跃的社区,专业的团队 ⽀持 5 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED

6. 3.1 我们做了什么 - 向量搜索架构 引擎组件全部打 包,⽀持⼀键部署 抽象向量读、写操 作,通⽤的API屏蔽 引擎细节 ⼀种⽀持垂直搜索 领域低时延、⾼吞 吐需求的解决⽅案 ⼀种⾼可⽤的全量 数据同步⽅案 6 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED

7. 3.2 我们做了什么 - 引擎打包ALL-IN-ONE 7 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED

8. 3.3 我们做了什么 - 数据存储 8 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED

9. 3.4 我们做了什么 - 低时延、⾼吐吞⽅案(原有) 9 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED

10. 3.5 我们做了什么 - 低时延、⾼吐吞⽅案(新) 利⽤⽤envoy替换Mishards实现读写分离, 规避Mishards性能瓶颈 利⽤envoy的Strict DNS服务发现策略,以及 kubernetes的headless service特性,⽀持 milvus读实例横向扩展,以提⾼整体吞吐量 在垂直搜索的使⽤场景下,保证所有数据在 ⼀个segment中,实现单个请求的低时延 10 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED

11. 3.6 我们做了什么 - 资源伸缩 11 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED

12. 3.7 我们做了什么 - 存活检测 12 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED

13. 3.8 我们做了什么 - 数据T+1同步⽅案 同⼀个业务两个独⽴集群,读写分离 独⽴集群⽀持同机房、跨机房部署 集群资源⾃动伸缩 严格+灵活数据⼀致性校验策略 集群故障⽀持⼀键切换 13 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED

14. 3.9 我们做了什么 - ⼀致性、可靠性保障 14 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED

15. 4.1 ⽀持哪些场景 15 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED

16. 4.2 ⽀持哪些场景 - 户型 16 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED

17. 4.3 ⽀持哪些场景 - 智能客服 17 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED

18. 4.4 推荐 18 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED

19. 5 规划 19 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED

20.20 WE ARE BEIKE, 2018 BEIKE ALL RIGHTS RESERVED