《ChatGPT需要更好的Al基础设施》焦恩伟

1 .

2 .ChatGPT 需要更好的 AI 基础设施 Enwei Jiao Principal Engineer @ Zilliz 

3 .Agenda • 1. 从搭建“以图搜图”的系统说起 • 2. Milvus 介绍 • 3. Milvus 的社区案例 • 4. 从 ANN 到 AIGC，AI Infra的发展 • 5. 下一代 Milvus 的思考 

4 .搭建“以图搜图”Demo共有几步 • 1. 挑选模型 • 2. 图片训练，生成特征数据 • 3. 提取搜索图片特征 • 4. 特征匹配，找到近似图片 

5 .如果增加一点点需求 • 1. 数据量十亿 • 2. QPS 2k • 3. 每天新增一千万数据 • 4. SLA 要求 99.9% 

6 .向量数据库Milvus介绍 • 面向预料、图像、音视频等非结构化数据 • 非机构化数据 + 模型 => 向量 • 表现为高维数组而非单个数据 

7 .Milvus发展历程 

8 .被全球超过一千家用户信任 

9 .Milvus 架构图 

10 .Milvus的优势：vs 关系型数据库 • 1. 向量 as First Class • 内置多种向量索引 • 面向向量优化的存储引擎 • 原生支持多种 CPU/GPU 架构 • 2. Cloud Native at First Day • 存算分离 • 读写分离 • Log as Storage • Smart Cache for Query • 3. Ecosystem for AI • Embedding pipeline: Towhee • 算法可视化：Feder 

11 .Milvus的优势：性能 

12 .重新搭建“以图搜图” • 1. 搭建Milvus or 申请 Zilliz cloud服务 • 2. 使用 Towhee embedding 底库 • 3. 底库导入 Milvus • 4. 对外提供服务 

13 .来自社区的案例 — 唯品会商品推荐 

14 .来自社区的案例 — tokopedia 商品搜索 

15 .来自社区的案例 — 华为音乐推荐 

16 .来自社区的案例 — WPS AIGC 

17 .从 ANN 到 AIGC，AI Infra的发展 • 基础架构：Library -> Service -> SaaS • model 参数： 百 -> 亿 -> 万亿 • 开发模式：全自研 -> 工具百花齐放 

18 . AI Infra vs Data Infra Stone Age Bronze Age Iron Age Roman Times DB2 Sybase HBase Relational Model SQL CAP Magnetic Taps Oracle MySQL Cloud Native SIGMOD System R CODASYL IMS Ingres VLDB ER DBMSs for PC Informix PostgresSQL Snowflake Database 1970s 1980s 1990s Pytorch ONNX MATLAB GPU support Chainer CNTK Torch Tensorflow Caffe Theano Keras Caffe2 Frameworks OpenNN MXNet For AI Model 2010s 2016 Now We are here DB-plugin Faiss ES-plugin Milvus Proxima hnswlib Pinecone Frameworks Annoy For AI Data 2019 Now 

19 .Milvus 适合什么样的用户 

20 .Milvus的下一步计划 • 1. 支持SQL，降低学习门槛 • 2. 集成Velox，更丰富的标量查询能力 • 3. 极致的性能优化 • 4. 自研Distributed Log Store替换第三方MQ，简化架构复杂度 • 5. 丰富的AI生态接入 

21 .Thank you!