企业信息服务中的智能对话系统

企业信息服务中的智能对话系统

展开查看详情

1. 区 术 cn 社 技 g. 能 cu 智 ai 工 . ww 思必驰 - 葛付江 G人 w fujiang.ge@aispeech.com CU AI

2. AI CU G人 w ww 总结 工 . 智 ai 对话管理 数据增强 能 cu 技 g. 术 cn 语音识别错误自适应 对话系统及语义表示 社 区 1

3. 对话系统的流程 区 问句 上个月的电费是多少,怎么远程交一下 术 cn 社 分词、词性标注等 语义 技 g. 特征 命名实体识别 上个月:时间 处理 能 cu 领域识别 领域:缴费 智 ai 知识库 语义成分解析 费用类型:电费;缴纳方式:远程 工 . ww 领域:缴费,时间:上个月,费用类型:电费,缴费 理解 语义结构 方式,远程,问题类型:how 上下文 对话管理 G人 w 语义成份补全 如果关键槽位缺失:根据上下文补全、反问用户补充 用户意图 费用查询<费用类型:电费,时间:2018/10> 缴费:<渠道:APP,费用类型:电费,时间:2018/10 CU > AI 知识库 答复生成 生成回复及需要的操作序列 答复 您上个月的电费是35元,可以登录重庆农商银行官方 AI Pioneer APP,在缴费栏目下缴纳。<action: 弹出缴费框> 2

4. 对话中的语义理解 区 术 cn 社 技 g. 上个月的电费是多少,怎么在网上交 能 cu Domain : 生活缴费 智 ai Intent : 交电费 工 . “上个月 的 电费 是 多少,怎么 用 手机 交” ww G人 w 时间 缴费方式 CU Domain=生活缴费; Intent=交电费; AI 时间=(2019/08); 缴费方式=手机; AI Pioneer 3

5. 语义表示 区 术 cn 社 技 g. 能 cu 句法分析,语义角色标注 智 ai 工 . ww G人 w CU AI 知识图谱 embedding AI Pioneer 4

6. 意图和槽位的表示 区 术 cn l 领域和意图分类 槽位提取 社 l 技 g. max/mean pooling 能 cu O B-FC O B-TC 智 ai 工 . backward ww leave Boston to G人 w Atlanta forward leave Boston to Atlanta CU AI AI Pioneer 5

7. 复杂意图表示 我想了解下保险,最好能包含重疾和常见疾病,是否能带上小孩,报销比例高点 区 术 cn 的,一直到他十八岁 社 • NLU 技 g. Named Entity Recognition: Domain: 保险 能 cu 我想了解下保险,最好能包含重疾和常见疾病, 是否能带上小孩,报销比例高点的,一直到他 Intent: 购买 智 ai 十八岁 Type: 疾病险 Co-reference resolution: 工 . ww 一直到他十八岁 Coverage:重疾、常见疾病 Object: 我、小孩 • 小孩 Knowledge Graph G人 w 医疗 十八岁 -> 长期 type CU 价格 保险产品推荐 保险产品 1万/年 我、小孩 -> 家庭 AI object 0-60岁 Semantic matching Reasoning Answer AI Pioneer 6

8. 对话处理流程 • 语义表示 区 术 cn • 意图分类 社 • 深度语义相似度计算 技 g. Natural Language Understanding • 语义角色识别 能 cu • 知识图谱 智 ai 工 . • 对话本体管理 ww Dialog Manager • 上下文指代消解和推理 G人 w • 强化学习 CU • 场景适配 Response Generator AI • 对话生成 AI Pioneer 7

9. 企业信息服务中对话系统 区 术 cn 社 技 g. 特点 解决方案 能 cu l 意图复杂:算法流程多 l 模型简化、集成学习 智 ai l 口语表达多样,语音识别错误 l 对话管理 工 . l 对话流程:符合逻辑、灵活 l 错误自适应 ww l 数据来源垂直 l 数据增强 G人 w CU AI AI Pioneer 8

10. 区 对话系统及语义表示 术 cn 社 技 g. 对话管理 能 cu 智 ai 语义理解中的语音识别错误自适应 工 . ww G人 w 数据增强 总结 CU AI 9

11. 对话管理和意图 区 术 cn 社 同样或类似的意图,在对话中的答复是否一样? 技 g. 能 cu 智 ai 我的快递到哪了,给我催一下,都三天了,什么时候能到 工 . ww 现在到哪了,我着急用,明天下午能送达到吗 赶紧给我送 G人 w 什么时候能送到 CU AI AI Pioneer 10

12. 对话管理和意图 区 我的快递到哪了,给我催一下,都三天了,什么时候能到 术 cn 社 您好,请问您的订单号是多少 技 g. 93676024158 能 cu 这个件比较远,正常5天可以送到 现在到哪了,我着急用,明天下午能送达到吗 智 ai 最近快递比较多,我帮您登记催一下可以吗 工 . 好的,谢谢,赶紧给我送下 ww 好的,给您登记催单了,我们会尽快帮您处理 那什么时候能送到 G人 w 已经帮您登记催件,快递到达后快递小哥会优先给您派送。谢谢您的谅解 好的 CU 很高兴为您服务,再见! AI AI Pioneer 11

13. 对话管理 – 任务跳转 区 术 cn 社 技 g. 您好,请问您是王小美女士吗? 能 cu 智 ai 是 他换了号码 工 . 麻烦您提供一下他 您信用卡已经逾期 ww 新的号码? G人 w 过几天还 您可以选择按最小还 款金额先还一部分 CU AI AI Pioneer 12

14. 对话管理 – 任务内部逻辑 区 术 cn 社 技 g. 提问 能 cu 智 ai 语义解析 工 . ww no med low 确认 G人 w 置信度 yes high CU AI AI Pioneer 13

15. 对话管理的状态表示 区 对话本体: 术 cn 社 技 g. S_1 意图 对话 子任 能 cu 预处 动作 NLG … 务 理 管理 智 ai S_2 工 . ww G人 w 基于状态机:状态扩展复杂 基于槽位:无法处理复杂流程 S_1 CU 姓 身 电 意图1 份 话 名 证 意图4 意图2 AI S_0 S_2 意图3 AI Pioneer S_3 14

16. 对话管理的状态表示 区 • 对话状态:对话任务中的每个槽位是否已填、当前意图、用 术 cn 社 户历史上说过的槽位及其次数、置信度、系统自动填充的槽 技 g. 位、用户是否做过否定或修正、…… 能 cu 智 ai • S: 状态,st表示第t步的状态 工 . ww • A: 动作,At表示第t步的动作 • � sa: 状态转移概率 – � s� G人 w 表示的是在当前S状态下,经过 A作用后,会转移到的其他状态的概率分布情况。 – 在状态S下执行动作A,转移到S'的概率可以表示为p(S’|S,A)。 • R: S×A⟼ℝ ,R是回报函数(reward function) CU – 如果一组(S, A)转移到了下个状态S',回报函数为R(S’|S, A) AI AI Pioneer Ref:The Markov Assumption in Spoken Dialogue Management 15

17. 区 对话系统及语义表示 术 cn 社 技 g. 对话管理 能 cu 智 ai 语义理解中的语音识别错误自适应 工 . ww G人 w 数据增强 总结 CU AI 16

18. 语义槽位标注任务的ASR错误自适应 区 术 cn 社 技 g. 能 cu 智 ai 使用对抗 工 . 学习准则 ww 共享参数 G人 w CU 正确文本上的slot tagging AI 在没有语义标注的语音识别结果上做无监督自适应 AI Pioneer 17

19. 语义槽位标注任务的ASR错误自适应 区 在语音识 术 cn 别后的文 社 本上进行 技 g. 测试 能 cu 智 ai 工 . ww G人 w CU AI AI Pioneer 18

20. 区 对话系统及语义表示 术 cn 社 技 g. 对话管理 能 cu 智 ai 语义理解中的语音识别错误自适应 工 . ww G人 w 数据增强 总结 CU AI 19

21. 对话中的的数据增强 区 术 cn 社 技 g. 能 cu 智 ai 工 . ww G人 w DSTC3 模板 CU 数据增强流程 AI AI Pioneer EMNLP, Data Augmentation with Atomic Templates for Spoken Language Understanding 20

22. 对话中的的数据增强 区 术 cn 社 技 g. 能 cu 智 ai 工 . 不同方法的语义理解性能 ww G人 w 种子数量对语义理解性能的影响 CU AI AI Pioneer 数据增强中的不同模块对语义理解的性能影响 以上基于数据集DSTC 3 21

23. 区 术 cn 社 技 g. 能 cu • 对话管理:业务逻辑设定框架,算法在有限 智 ai 上下文内决策 总结 工 . • 迁移学习用于错误自适应 ww • 结合知识的数据增强 G人 w CU AI 22 AI Pioneer

24. 区 术 cn 社 技 g. 能 cu 智 ai 思必驰 - 葛付江 fujiang.ge@aispeech.com 工 . ww G人 w CU AI 23