NLP在工程化项目中的实践应用

1 .AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 网新数字 吴皓天 术 cn 社 区 NLP在工程化项目中的实践应用 

2 .AI CU 目录 G人 w ww 工 . 智 ai 痛点分析 解决之道 背景介绍 探索方向 能 cu 技 g. 术 cn 社 区 

3 . ReadMe 区 术 cn 社 技 g. 开发 市场 产品 能 cu 智 ai 工 . ww G人 w To B 0-1 NLP CU AI AI Pioneer 

4 . 自然语言处理 区 术 cn 社 技 g. 人工智能 能 cu “ 智 ai 感知智能 认知智能 篮球放不进这个箱子里 ” 工 . ww 理解 语音识别 自然语言 图像识别 处理 G人 w生成 动作 认知基础 CU AI AI Pioneer 

5 . 技术发展现状 区 术 cn 社 新的模型 表现 技 g. 能 cu  深层注意力模型取代CNN、RNN成为标准  机器翻译准确率显著大幅度提升 智 ai  预训练语言模型成为标配  NLP各种任务性能也有不同程度提升  图神经网络成为热点  知识图谱概念已被各行各业理解、认可，得到极大关注 工 . ww G人 w NLP技术已基本达到产业化应用的门槛 CU AI AI Pioneer 

6 . 市场发展现状 区 术 cn 社 2020年中国NLP技术预计直接市场规模150亿元，企业智能直接 技 g. 市场规模超过200亿元，二者可带动4000亿元的间接市场规模。 能 cu 智 ai 工 . ww G人 w 已具备大规模存量市场需求和可拓展的巨大市场空间 如何更好的落地？ CU AI AI Pioneer 根据《中国人工智能发展报告2018》、“Research And Market”2019报告等分析 

7 .AI CU 目录 G人 w ww 工 . 智 ai 痛点分析 解决之道 发展趋势 探索方向 能 cu 技 g. 术 cn 社 区 

8 . 技术与产品间的鸿沟 区 术 cn 社 客户期望 技术现状 技 g. 能 cu 易用 训练数据大 智 ai 99%可靠 黑盒 工 . ww 可解释 准确率不够高 理解常识 G人 w 模型难移植 快速部署 结合知识难 CU AI AI Pioneer 

9 . 工程化项目中的误区 区 术 cn 误区 社 技 g. 能 cu  只要有海量数据就可以了 智 ai 工 . ww  人工智能的算法就是深度学习 G人 w  客户的需求差不多，想通过一招鲜的方案来覆盖 CU AI AI Pioneer 

10 . 工程化项目中的痛点 区 术 cn 痛点 社 技 g. 能 cu  特定领域知识和应用场景的理解 智 ai 工 .  高精度、高性能的要求 ww  数据来源 G人 w  投入产出比 CU AI 客户预期的管控决定着项目的成败，万事“开头难”。 AI Pioneer 

11 .AI CU 目录 G人 w ww 工 . 智 ai 痛点分析 解决之道 发展趋势 探索方向 能 cu 技 g. 术 cn 社 区 

12 . 对NLP工程化的理解 区 NLP的工程化，不是一个个算法的累积，也不是一个个任务的独立优化，而应该是系统工 术 cn 社 程，寻求效果满意解的过程。 技 g. 能 cu 智 ai 性能满意 体验满意 工 . ww 冷启动 交互便捷 模型蒸馏 G人 w 易维护 模型融合 所见即所得 CU AI AI Pioneer 

13 . 冷启动-初始数据不足以支持深度学习 区 术 cn 冷启动 社 技 g. 能 cu  客户期望快速看到NLP应用的效果，实现“冷启动”。 智 ai 工 .  实现“冷启动”的基础是对业务领域的理解。 ww  实现“冷启动”的关键是规则方法与深度学习方法的有效融合。 G人 w CU AI AI Pioneer 12 

14 . 栗子 区 这次入住的体验很棒！ 好评 关键字 术 cn 酒店卫生很干净。 社 技 g. 交通好评 地铁直接就能到酒店，很方便，但是隔音 能 cu 设施差评 上下文 太差了，毕竟才200块钱，还算值吧。 价格中评 智 ai 工 . 房间卫生好评 ww 房间很整洁，但是卫生间有异味。入住时前台小姐姐人 卫生间卫生差评 多标签 漂亮、态度很好，第二天退房时前台换成小哥哥了，爱 G人 w 搭不理的，耽误时间，害的我差点高铁都赶不上了。 前台服务好评 前台服务差评 上下文 BiLSTM 规则 CU BiLSTM BERT +Attention AI 长句评论的预测准确率从70%上升到95%。 AI Pioneer 

15 . 模型蒸馏-大模型如何满足性能的要求 区 术 cn 随着BERT模型的出现，NLP各项任务都达到了更优的指标。然而BERT过于庞大，对计 社 算资源的需求很高，因此我们想利用Teacher-Student框架将BERT模型的能力迁移， 技 g. 能符合对实时性要求高的工程化项目的要求。 能 cu 智 ai BERT预训 BERT教师 预测输出 特征输入 BiLSTM 工 . 概率分布 练模型 模型 学生模型 ww 有 无 标 签 训 G人 w 标 签 训 联 合 训 练 练 练 CU 标注数据 增广数据 标注数据 AI AI Pioneer 

16 . 模型融合-如何找到合适的算法 区 NLP任务 术 cn 社 技 g. 意图识别 命名实体识别 问答匹配 … 能 cu 任务模型 模型融合是训练多个模型， 智 ai 然后按照某种策略集成到面向 工 . 平均法 投票法 学习法 ww 一个任务的模型，以此来加强 模型融合 G人 w 多模型 模型效果。 CU 朴素贝叶斯、逻辑回归、 N-gram、词向量模 RNN、CNN、LSTM、 随机森林… 型… BERT、XLNET… AI 传统机器学习 特征工程 深度学习神经网络 AI Pioneer 

17 . 栗子 区 术 cn 社 技 g. 后台生成记录 能 cu 时间：2019.9.6 11:56 智 ai 地点：武林广场附近 工 . 车牌号：浙A88884 ww 是否亮着空车灯：是 G人 w 是否询问目的地：否 用户情绪：生气 CU AI AI Pioneer 16 

18 . 体验满意 区 术 cn 社 UI设计 知识库管理工具 技 g. 能 cu 结合客户需求 智 ai 体验设计 运营日志 做工程化产品设计 工 . ww 个性化 G人 w 模型迭代机制 CU C端和B端都要满意 AI AI Pioneer 

19 . 栗子 区 术 cn 社 技 g. 欢迎语 能 cu 智能问题预测 智 ai 工 . 快捷输入 ww 个性化推荐 G人 w 答案设计 个性表达 CU AI AI Pioneer 

20 .AI Pioneer 栗子 AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社 区 

21 . 总结 区 术 cn 社 技 g. 合理的客户目标期望管理是工程化项目落地的前提 能 cu 智 ai 持续进步的产品和技术能力是工程化项目落地的基础 工 . ww G人 w 产品去流行化，不是项目做得越多越好，而是把每个项目做好 CU AI AI Pioneer 

22 .AI CU 目录 G人 w ww 工 . 智 ai 痛点分析 解决之道 发展趋势 探索方向 能 cu 技 g. 术 cn 社 区 

23 . 我们的探索方向 区 术 cn 社 常识和背景知识的建立 认知概念图谱 技 g. 能 cu 多模态用户意图的理解 NLU结合OCR、VQA等 智 ai 少样本数据的模型训练 预训练模型的运用、迁移学习 工 . ww 模型的可解释性 研究生成性解释框架 工程化项目中的模型评价 G人 w 研究基于业务的模型评价基准 数据无法共享 研究联邦学习机制 CU AI AI Pioneer 

24 . 我们的终级目标 区 术 cn 终极目标 社 技 g. 能 cu 智 ai 可解释性 一致性 即用性 工 . ww 可迁移性 G人 w 自知之明 CU AI AI Pioneer 

25 . 体会 区 术 cn 社 技 g. 能 cu 对于工程化项目来说，算法和模型没有最好的，只有最适合的 智 ai 工 . ww AI产品经理，是AI技术落地的关键岗位 G人 w CU AI AI Pioneer 

26 . 网新数字简介 区 对话式交互赋能传统信息化 术 cn 社 技 g. 智能 智能 能 cu 客服 外呼 智 ai + 工 . 智能 ASR NLU ww 助理 TTS OCR BDM 文本 语义分析 G人 w 智能 网点 CU 创新交互体验，创造AI价值 AI AI Pioneer 25 

27 . AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社 THANKS 区 26