栾小凡 - Zilliz 向量数据库介绍

1 .2022.1 向量数据库研讨会 如何应对海量向量上云挑战- Milvus 2.0 

2 .Outstanding challenges for vector database 向量数据库⾯临的挑战 

3 .数据规模 百亿级别向量数据规模，毫秒级别响应时间 弹性扩缩容，应对请求突增 ⾯对海量数据，清洗，索引成本很⾼ 系统复杂度提升 

4 .数据实时性和处理效率 业务场景对数据的可⻅性要求变⾼ 向量索引通常对更新/删除不友好 ⽤户需要根据业务场景进⾏Tradeoff 

5 .性能与成本 基于内存的向量索引⽅案成本过⾼ 更⾼效的算⼒应⽤ 更智能的索引选择优化 存储/算⼒池化 

6 .复杂查询的⽀持 top-k where date >= 14 days ago AND department == ‘finance' Where distance > 0.9 AND description LIKE ‘*APPLE*’ 标量向量混合查询 范围查询 多向量查询 时间旅⾏ 

7 .数据孤岛 多种数据源之间的⼀致性问题 复杂查询的效率问题 数据转换成本⾼ 租户之间的隔离性与安全性 数据交换 

8 .易⽤性 易于使⽤ 易于部署 易于维护 便于对接上下游 

9 .Milvus 2.0, next generation cloud native AI infra Milvus 2.0,下⼀代云原⽣AI基础 设施 

10 .Milvus 2.0 - 解锁⾮结构化数据处理的钥匙 ⾯向向量数据的云原⽣数据库，提供基于K8s和线下部 署多种模式 ⾼可⽤，⾼扩展性 提供FAISS，HNSW，ANNOY等多种⾼性能检索引擎⽀持 提供完善的元信息管理和配置管理 丰富的⽣态⼯具和社区⽀持 

11 .云原⽣-从⽔井⾛向汪洋⼤海 资源池化 -> 通过虚拟化隐藏细节，实现按需按量 资源解耦 -> 微服务设计，提升资源利⽤ ⽔平扩展 -> 成本换性能 存算分离 -> 弹性是资源调度的基础 

12 .流批⼀体化-以⽇志为主⼲ 基于⽇志系统实现流式数据的处理 流式数据关注数据实效性，批数据关注查询性能 ⽀持多⼀致性，⽤户可以⾃⾏根据业务场景选择更⾼的 ⼀致性等级或者更低的延迟更好的可⽤性 

13 .集市架构-解决数据孤岛 以⽇志为中⼼构建的多模系统 ⾯向⼤集群模式，提供多租户逻辑隔离和物理隔离能⼒ 企业级的安全能⼒ 

14 .What’s the next step? 性能成本： 易⽤性： 异构硬件的⽀持 - GPU，FPGA… 索引/参数智能调优 基于磁盘的向量⽅案落地 云端⼀体化的使⽤体验 索引构建速度/资源开销优化 向量可视化，向量查询可解释性 稳定性： 云化： 内存多副本 离在线任务⼀体化调度 向量索引内存管理 按需按量计费 Chaos test 内存池化，计算资源池化 

15 .Let’s reinvent data science, together! 谢谢