腾讯 王辉 - 《小Q机器人的诞生之路》_部分1

1 .小Q机器人诞生之路 演讲者／王辉 

2 .自我介绍 • 王辉，现就职于腾讯，社交平台部创新产品技术负责人，专 家工程师； • 近期主要关注人工智能和在线教育等创新产品的研发； • 热爱技术，热爱跑步。 

3 .小Q机器人 AI技术、内容、硬件三大提升。 ⼩小Q机器器⼈人⼀一代 ⼩小Q机器器⼈人⼆二代 2010 2017 

4 .小Q机器人二代 https://item.jd.com/6422214.html 

5 .Agenda 1 聊天机器人 2 腾讯云小微 3 小Q机器人 起源 发展 落地 

6 .聊天机器人 

7 .QQ空间聊天机器人 

8 .技术成果 • 峰值每日聊天2000w次，用户130w （业界领先） • 单用户会话轮次达到15次 • 应用多种业界前沿算法，并有多项创新 • 核心AI模型，算法实践结果做到70%的效果提升 

9 .技术方案 开域 闭域 海海量量数据 检索式 + 深度学习 多样化数据 ⽣生成式 核⼼心场景： 核⼼心场景： • 聊天 • 百科 • 推荐语 • 知识问答 • 文字游戏 

10 .技术特色——海量数据 数据是人工智能的基石。 数十亿级公开问答对 

11 .技术特色——流动的海量数据 • 自我学习，机器人会“反思”（目前每天可以发现聊天内容约10%能继续学 习到更好的回答） • 开域转闭域，深度定制（多个闭域如八卦、新闻、影评等实时知识性数据每 日更新，对话过程中的意图领域迁移跟踪） • 新陈代谢，与时俱进（让聊天随着语料数据得到学习进步，整个数据清洗/检 索索引/Rank模型适配流程化） 

12 .技术特色——高性能系统 查询接入层 运营层 数据运营 查 Query理解(TF、IDF) searchd 检索模块 基于Sphinx改造的检索系统 询 业务日志 业务定制 Ranking服务 检索系统 Cache 约10亿的中文文档，规模超越知 处 查询流水 理 分词&词性服务 名的coreseek 热度分析 质量运营 分布式改造 数 indexer 索引模块 数据清洗 业务日报 据 单机性能优化算法稳定控制在单 (海量) 全量索引 准 数据抓取 倒排索引 样例上报 基础数据 备 次计算耗时平均40ms. 实时索引 告警监控 in out 

13 .技术特色——独家配方Rank模型 数据清洗 数据检索 数据Rank 

14 .原创baseline基准算法 理论基础是条件概率，通过统计海量数据，当人问出一个什么词的条件下，人 类回答什么词汇的概率比较高，得出聊天对话中语义上共现的规律。 Q: 今天踢球踢得很累 A1: 休息下 A2: 你还会足球啊？ A3: 下次叫我一起，球场见 算法 P准确率 R召回率 F-measture 效果提升 词共现算法 0.532 0.265 0.354 ----- 

15 .POS-IDF词向量权重模型 很多词语对确实在QA⾥里里共同出现了了，但是他们并不不是语义上有对话关系， 所以需要修正这个条件概率的公式。 Q: 今天踢球踢得很累 原理： A1: 休息下 IDF文档倒频率体现词语关键性 A2: 你还会足球啊？ POS词性和句子主干有关 A3: 下次叫我一起，球场见 Word2vec的词向量本身具有语义上下文信息 算法 P准确率 R召回率 F-measture 效果提升 POS-IDF-词共现 0.624 0.345 0.445 25% 算法 

16 .深度学习CNN 引入深度学习CNN模型，基于Tensorflow开发\GPU训练\评测\部署，QA数 据做了拼接共用一个卷积池化的参数，然后求余弦相似度。 Applying Deep Learning to Answer Selection: A Study and An Open Task：https://arxiv.org/abs/1508.01585 

17 .深度学习PairCNN 我们引入PairCNN改进模型对原有的CNN模型对比优化。 Learning to Rank Short Text Pairs with Convolutional Deep Neural Networks：https://dl.acm.org/citation.cfm?id=2767738 

18 . 模型对比 模型 对⽐比 1、共享所有卷积池化的参数，且卷积核数量量较 ⼤大，计算量量⼤大，对于Q和A的⽂文本的区分度 CNN (diversity)⽆无法分别建模； PairCNN(40%+) 2、Q和A的交互发⽣生在最后MLP层中，表达相关性 的能⼒力力有限 1、Q和A分别⽤用不不同的卷积池化参数进⾏行行建模，且 CNN 卷积核数量量⼩小于原有模型，复杂度更更低；2、在 PairCNN MLP层之前增加了了Q与A相关性抽取的交互，从 high-level的语义向量量中进⼀一步抽取了了相关性特征， 能更更加丰富语义表征 算法 P准确率 R召回率 F-measture 效果提升 PairCNN算法 0.816 0.415 0.551 55.6% 

19 .技术特色——独家配方Rank模型 策略整合 评测系统 海量数据 1、各⾃自评测 PRF 2、综合配⽐比 词共现 Pair CNN POS-IDF 

20 .技术特色——独家配方Rank模型 综合词共现 / IDF词向量 / PairCNN取得比baseline在F值上约70%的提升。 F=2*P*R/(P+R) 算法 P准确率 R召回率 F-measture 效果提升 词共现算法 0.532 0.265 0.354 ----- POS-IDF-词共现算法 0.624 0.345 0.445 25% PairCNN 0.816 0.415 0.551 55.6% 词共现+idf-word2vec 0.809 0.431 0.563 59% PairCNN+词共现 0.812 0.448 0.577 63% 三种算法结合起来 0.804 0.479 0.601 69.77% 

21 .技术特色——文本情感分析 • 基于UGC中文和Emoji表情label混杂得到训练数据 • 利于深度学习LSTM模型进行文本情感分类 • 目前6分类的成功率大于80%，业界第一梯队水平标准了 • 结合宠物的情感分析商业价值也开始显现( KFC &宠物) 

22 .Agenda 1 聊天机器人 2 腾讯云小微 3 小Q机器人 

23 .腾讯云小微 

24 .产品定位 整合+开放+赋能 • ⼈人⼯工智能探索性产品 • 拥有多项AI能⼒力力的智能机器器⼈人 能力展示 • 开放成为“腾讯云⼩小微”云服务 • “腾讯云⼩小微”的⾏行行业标杆产品 小Q机器人 云服务
 (腾讯云小微) 

25 .公司战略 人工智能，令人振奋的长远投资。 整合人工智能基础能力，赋能生态系统合作伙伴。——腾讯2017年Q2财报 机器器学习 计算机视觉 + 语⾳音识别 ⾃自然语⾔言处理理 

26 .能力整合 整合腾讯内多项AI能力。 语⾳音 语义 内容 4 语⾔言+视觉 ⾃自然语⾔言处理理 语⾳音唤醒 内容整合 ⽂文字转语⾳音 语⾔言识别 ⼈人脸识别 语⾳音降噪 意图识别 上下⽂文管理理 会话管理理 微信 Qrobot 腾讯物联 优图实验室 AILabs 微信 QQ音乐 天天P图 音视频实验室 AILabs 企鹅FM 腾讯视频 小企鹅乐园等等 

27 . 系统架构 硬件层 语⾳音识别模型调优 语音识别能力 微信语音识别 AILabs语音识别 ROM 主服务 自然语言处理 应用层 Qrobot自然语言处理 微信语音唤醒 持久化通信管道 微信自然语言处理 音视频降噪 AEC 流式 流式 AILabs自然语言处理 录音流式上传 ⼈人脸识别 提供语料 业务逻辑 内部内容库 人脸识别 QQ音乐 企鹅FM TTS 账号体系 播放器逻辑 腾讯物联 腾讯视频 播放 QQ通话 微信通话 股票数据 翻译 腾讯云小微 等等 

28 .任务对话支持 Speech ASR NLU Dialogue Database Management Speech TTS NLG Actions 

29 . 任务对话支持 歌手：周杰伦 歌曲：稻香 我要听周杰伦稻香 口语化处理 混淆字纠错 归并处理 上下文 意图识别Pipeline 实体抽取 实体消歧 领域预分类 相似度排序 领域指令粗选 指令扩展 句子相似度 槽位填充