Milvus 智能问答系统

在自然语言处理中,其核心问题是文本匹配,实现文本匹配的方法也很多。传统方式大都是基于规则的知识图谱的方式实现的,但这种方式存在许多问题,比如:它需要设计大量的语义规则,同时要确保规则之间没有冲突,这是一个比较难的过程,此外还需要对大量的语料预先进行分类整理、打标签等,这个过程及其耗时且繁杂。这种方式实现的文本匹配,其可扩展性差,需要大量重复的工作,很难处理语句的多样化表达。

随着深度学习领域的公开和成熟,出现了许多经典的深度语言模型。本次直播 Milvus 教你如何借助 Google 开源的预训练模型 BERT, 将文本数据集转化为语义特征向量,然后利用 Milvus 对特征向量做相似度检索。这样的方式彻底摆脱了对语料的预处理,摆脱了规则的制定,极大的提高了文本匹配的效率。

想要加入Milvus 交流群一探究竟吗?加小助手微信:zilliz-tech 并回覆暗号 “Milvus 入群” 喔!

展开查看详情

1.智能问答系统搭建

2. 什么是特征向量 • 向量是具有一定大小和方向的量,可以简单理解为一串数字的集合,就像一 行多列的矩阵,比如:[2,0,1,9,0,6,3,0]。每一行代表一个数据项,每一列代 表一个该数据项的各个属性。 • 特征向量是包含事物重要特征的向量。大家比较熟知的一个特征向量是RGB (红-绿-蓝)色彩。每种颜色都可以通过对红(R)、绿(G)、蓝(B)三种颜色的比例 来得到。这样一个特征向量可以描述为:颜色 = [红,绿,蓝]。

3. 为什么要用特征向量 • 随着现代计算机和机器学习技术的飞速发展,越来越多的多媒体数据被存 储、分析和运用在安防侦察、医疗、教育和在线信息服务等领域。多媒体数 据通常有多维度的特征。 • 例如,一张人脸图片是无法使用单维度的字母数字或字符串来描述的。而特 征向量则可以通过多维度数值高效准确地描述多媒体内容。一张人脸图片需 要成百上千维度的特征向量来精准描述。

4. Milvus应用场景 智慧城市 互联网 生物制药 Milvus在智慧城市、新零售等计算机视觉 Milvus广泛应用于互联网行业的个性化推 Milvus 赋能生物制药领域化合物虚拟筛选 领域有广泛的应用。人脸识别,VIP获客, 荐系统中。语料推荐,智能海报,千人千 过程,能够实现数十亿分子结构高性能相 生物因子认证等。 面,新闻、视频推荐等。 似性检索,极大提高筛选效率。 https://lfai.foundation/projects/milvus/

5. BERT BERT是一个新的语言表征模型(language representation model),全称是 Bidirectional Encoder Representation Transformers,即双向Transformer 的Encoder。 • 使用了Transformer作为算法的主要框架,Trabsformer能更 彻底的捕捉语句中的双向关系; • 使用了Mask Language Model(MLM) 和 Next Sentence Prediction(NSP) 的多任务训练目标; Transformer BERT架构 网络架构

6.自然语言处理 – 智能问答系统

7.自然语言处理 – 智能问答系统

8.自然语言处理 – 用户场景 小米: 推荐系统中的文章召回 WPS:智能写作平台