智能问答相关性策略构建

智能问答相关性策略构建

展开查看详情

1.AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社 李晨尧/阿里巴巴UC事业部 区

2. AI CU G人 w ww 背景 总结 工 . 智 ai 相关性大图 能 cu 夸克智能问答 关键策略构建 技 g. 术 cn 社 区 1

3. 业界发展 区 术 cn 社 技 g. 1950 能 cu 图灵测试 智 ai 2000-至今 工 . 1990-至今 ww 智能语音助手 开放域搜索引擎 目标 领域专家系统 G人 w 1960-90 人机对话 功能满足 CU 智能问答 AI 人机对话流 2 AI Pioneer

4. 从搜索引擎到智能问答 传统搜索 AI引擎 区 术 cn 1 query 1 query Answer 传统 AI 1 1 社 2 10 blue links 搜索 2 Answer 引擎 技 g. 1 1 3 用户分析整理 1 能 cu 夸克AI引擎 智 ai 工 . ww 准确 G人 w 高效 权威 CU AI AI Pioneer 3

5. 智能问答-机遇与挑战 智能信息服务 区 挑战 解决思路 术 cn 社 技 g. 能 cu 智 ai 用户 工 . ww 价值 G人 w CU AI AI Pioneer 4

6. 问题分类 区 术 cn 问题类型 问题 答案 来源 社 技 g. 定义类 VoLTE是什么意思 基于4G网络的语音业务 图谱|百科 能 cu 原因类 为什么叫蓝牙 来源于丹麦蓝牙王,… 社会化问答|行业|网页 智 ai 事实类 属蛇的人今年多大 6岁(2013),12岁… 图谱|百科 工 . ww 做法类 手机怎么连接蓝牙键盘? 1打开键盘开关2按下… 网页|社会化问答 是非类 列表类 G人 w 孕妇能不能吃火锅 女性必吃6种祛湿食物 不能,因为… 红豆,薏仁,云苓,… 社会化问答|行业|网页 社会化问答|行业|网页 比较类 北京和上海哪个面积大 北京总面积更大,共… 网页|图谱 CU 意见类 夏威夷好玩吗? 很好的旅游目的地,… 行业|网页 AI AI Pioneer 5

7. 夸克智能问答大图 APP端 应用层: 区 术 cn 夸克 UC 天猫精灵 天猫魔盒 其他 集团业务 自有业务 社 技 g. 产品 精选问答 小优Bot 天猫精灵问答 酷喵影视 平台层: 能 cu 能力外输 内部效率 业务混排 智 ai 排序逻辑 工 . KBQA PairQA DeepQA 引擎层: ww 基础技术 架构,算法,流程 基础 NLP 深度 语义 G人 w 意图 分析 焦点词 Phrase Pattern 智能 标注 智能信息资产 内容层: 知识 社会化 网页 点击 行业 百科 大鱼号 新闻 CU 图谱 生产 问答 数据 合作 结构化,知识化 问答需求分类 AI What? How? Why? 时效性 domain权威 AI Pioneer 6

8. 夸克智能问答示例-KBQA 结构化知识: 区 Ø 知识图谱的偏静态知识 术 cn Ø 合作方动态结构化知识 社 技 g. 能 cu 智 ai 工 . ww G人 w CU AI AI Pioneer 7

9. 夸克智能问答示例-PairQA 百科、优质问答、行业问答、网页问答 区 术 cn 社 技 g. 能 cu 智 ai 工 . ww G人 w CU AI AI Pioneer 8

10. 夸克智能问答示例-DeepQA 问题:俄罗斯世界杯冠军是谁 答案:法国; 北京时间2018年7月16日凌晨,法国队4-2击败克 AMA(网页阅读理解):不但可以从问答网页抽取答案,还 罗地亚队,夺得了2018俄罗斯世界杯冠军 可以从新闻、百科抽取更高质量、权威、时效性答案 区 术 cn 社 技 g. 能 cu 智 ai 工 . ww 问题:西安地铁5号线二期什么时候建成 答案:西安地铁5号线二期全线开工建设 将在2020年全 G人 w 面建成通车 CU AI AI Pioneer 9

11. 智能问答相关性大图 Query分析 业务混排 问答信号 意图信号 业务规则 互斥逻辑 区 术 cn 切分 意图 实体 结构化 时效性 优先级比较 置信度比较 社 技 g. 权重 改写 扩展 口语化 能 cu 智 ai KBQA PairQA DeepQA 工 . ww Pattern匹配 文本匹配 语义匹配 精准匹配 模糊匹配 排序 答案抽取与句子排序 召回/排序/相似度 G人 w 意图匹配 点击匹配 类型判断 句子选择 召回 关键词召回 向量召回 句义匹配 答案校验 CFG句法分析 CU LispTree SemanticFn 建库 答案质量 去口语化 召回 文本匹配 语义匹配 rule … 排序 AI 问题筛选 点击传播 关键词召回 答案质量 AI Pioneer 10

12. KBQA Query结构化 Pattern匹配 区 术 cn 社 技 g. 能 cu 智 ai 工 . ww G人 w CU AI Phrase挖掘 Phrase2Vec Phrase排序 AI Pioneer 11

13. PairQA-文本匹配策略 pointwise-gbdt 区 术 cn 社 技 g. pointwise- 基础文本分 意图匹配 点击匹配 翻译模型 能 cu cnn/cdssm 智 ai 工 . ww 点击传播 高质量QA库 G人 w Join PerfectJoin 搜索引擎点击反馈 TextModelJoin CU DeepJoin question-click_querylist AI AI Pioneer

14. PairQA-深度语义匹配模型-MultiTask BERT DNN/CNN/CDSSM MultiTask Bert 区 Calculate 术 cn representation 社 技 g. Neural Query representation Query network 能 cu Matching score Document Neural 智 ai network Document representation Conduct matching 工 . ww MP/MIX Query Matching G人 w Aggregation Matching signals score Document CU AI Basic matching Matching signals function AI Pioneer 13

15. PairQA-深度语义匹配模型-知识蒸馏 Output Output 区 BERT Transformer11 Transformer11 术 cn Transformer10 Transformer10 社 … … 技 g. Transformer3 Transformer3 Transformer2 Transformer2 Query Title 能 cu Transformer1 Transformer1 Transformer0 Transformer0 智 ai Input Input 工 . 样本 CNN ww BERT 点击打标 RNN 蒸馏学习 G人 w BERT预测 NMP Transformer Query Title query question CU 炖羊肉去膻味的最佳方法 请问,炖好的羊肉有膻味该怎么去除 AI 圆通快递什么时候上班 圆通早上几点上班 属蛇的人今年多大了 属蛇的多大年龄 AI Pioneer 14

16.AI Pioneer 总结与展望 AI CU G人 w 全 ww 新 工 . 智 ai 能 cu 快 技 g. 准 术 cn 社 区 15

17. AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社 区 16