智能语音交互在客服场景的技术演进之路

1 .AI CU G人 w ww 工 . 智 ai ⼀一知智能 能 cu 李李⼀一夫 技 g. 演进之路路 术 cn 社 区 智能语⾳音交互在客服场景的技术 

2 .AI Pioneer AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 智能语⾳音交互 社 区 1 

3 .智能语⾳音交互 区 术 cn 社 技 g. 能 cu 智 ai 工 . ww Apple Siri G人 w Amazon ECHO Google Home Hub 蔚来-nomi CU AI AI Pioneer 2 

4 .智能语⾳音交互 区 术 cn 社 Text 技 g. 语⾳音识别 语⾔言理理解 Voice Intent & Context (ASR) (NLU) 能 cu 智 ai 对话管理理 工 . ww (DM) user G人 w 语⾳音合成 语⾔言⽣生成 Voice (TTS) (NLG) Action Text CU AI AI Pioneer 3 

5 . 智能语⾳音交互 ⽤用户请求反馈阶段的响应时间舒适度区间 区 术 cn 社 区间1:体验较好 区间2:感觉有延迟 区间3:太慢了了接受不不了了 技 g. 100% 能 cu 智 ai 80% 注：模拟连续曲线，补⾜足未 工 . 测时间点，得到⼀一条时间参 60% ww 考曲线，找到关键点。 40% G人 w 数据来源：百度⼈人⼯工智能交 互设计院（Baidu AIID）智能 ⾳音箱时间测试实验⼆二，2017 20% CU 0% 450ms 650ms 850ms 1050ms 1250ms 1450ms 2150ms 3150ms 4150ms 5150ms AI 太快了，接受不了 有点快，能接受 刚刚好 有点慢，能接受 太慢了，接受不了 4 AI Pioneer 

6 .AI Pioneer AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社 区 客服场景的智能语⾳音交互 5 

7 . 智能语⾳音交互 区 术 cn 社 Voice Text 技 g. 语⾳音识别 语⾔言理理解 Meaning&Context (ASR) (NLU) 能 cu VOIP PSTN 智 ai 对话管理理 工 . ww (DM) PSTN VOIP G人 w 语⾳音合成 语⾔言⽣生成 user (TTS) (NLG) Action Voice Text CU AI AI Pioneer 6 

8 . 智能语⾳音交互 10-300ms 区 600ms 术 cn 社 200ms Text 技 g. 语⾳音识别 语⾔言理理解 200ms Meaning&Context (ASR) (NLU) 能 cu VOIP PSTN 智 ai 对话管理理 工 . Voice ww (DM) PSTN G人 w VOIP 语⾳音合成 语⾔言⽣生成 user (TTS) (NLG) Action 200ms Text 200ms CU 0-300ms AI AI Pioneer 7 

9 . 智能语⾳音交互 区 术 cn 社 AI 响应时间：1500ms-3000ms 技 g. 能 cu 智 ai • 电信⽹网延时：200-500ms 工 . • VOIP： 200-500ms ww • ASR：500ms + 100ms • NLP：10ms-300ms G人 w • TTS：0-300ms CU AI AI Pioneer 8 

10 .AI Pioneer AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社 区 语⾳音识别（ASR） 9 

11 . ASR 区 术 cn 社 技 g. • 声学模型 • 语⾔言模型 • 解码器器 能 cu 智 ai 工 . ⻉贝尔实验室Audrey 统计学⽅方法 ww 0-9数字识别 模式和特征分析 GMM-HMM 熟⼈人 孤⽴立词 DNN-HMM 端到端 G人 w SPHINX 1950s 1970s 1980s 2010s 未来... CU AI AI Pioneer 10 

12 . ASR 区 术 cn 社 • 部分理理想环境 技 g. • 识别率98% 能 cu 智 ai 工 . ww G人 w CU AI AI Pioneer 11 

13 .AI Pioneer ASR AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社 区 为什什么电话场景下80%都很难 12 

14 . ASR 区 术 cn • 采样率8K，业内⼀一般是16K的语⾳音识别 社 技 g. 能 cu • ⼝口语化 智 ai 工 . ww • ⾯面向全国，各地⼝口⾳音 G人 w • 环境嘈杂（免提、蓝⽛牙） CU AI AI Pioneer 13 

15 . ASR 区 • 热词 术 cn 社 技 g. ⽤用户语句句 ASR结果 处理理⽅方式 能 cu 我想续保，怎么续？ 我想去报，怎么去？ 加热词“续保”，“怎么续” 智 ai 你们装修材料料有橡⽊木⻔门吗 你们装修材料料有项⽬目⻔门吗 加热词“橡⽊木⻔门” 工 . 我们家⼩小孩午睡了了 我们家⼩小孩五岁了了 加热词“午睡” ww G人 w • 语⾔言模型⾃自学习 -- 特定领域的⽂文本数据 • 声学模型训练 -- ⼝口⾳音、⽅方⾔言 CU AI AI Pioneer 14 

16 .AI Pioneer AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社 区 ⾃自然语⾔言处理理（NLP） 15 

17 . NLP 区 术 cn 社 客服场景下的语⾳音交互 技 g. 能 cu 外呼 呼⼊入 智 ai • 确认信息类 工 . • 任务型对话 场景：回访，通知、信息确认 ww 场景： 查账单、预约 • 营销类外呼 G人 w 场景：推⼴广、销售、介绍、邀约 • FAQ CU AI AI Pioneer 16 

18 .AI Pioneer NLP AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社 区 17 

19 .AI Pioneer NLP AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社 区 问法，同义句句 正则关键词 18 

20 . NLP R 您好，我是XX银⾏行行的只能IVR语⾳音助理理，请问有什什么可以帮您的么？ 您好，我是XX银⾏行行的只能IVR语⾳音助理理，请问有什什么可以帮您的么？ 区 术 cn 意图：查账单 我这个⽉月的账单出来了了，帮我查⼀一下花了了多少钱吧 U 社 实体：九⽉月份 技 g. R 为您查询之前需要先确认下您卡号后四位是多少？ U 密码实体抽取 能 cu 好像是3882吧 和您核实⼀一下，请问您的卡号后四位是3882么？ R 智 ai 对的，没问题 U 工 . ww 您的卡号已核实通过，您本⽉月账单⾦金金额为5000元，请问还有什什么可以帮您的么？ R 意图：查账单（继承） R G人 w 好的，您上个⽉月账单⾦金金额为8000元，请问还有什什么可以帮您的么？ 上个⽉月的呢我有点记不不清了了 U 实体：⼋八⽉月份 那会有多少积分呢 U CU R 您久等了了，为您查询到上个⽉月的积分为88分，请问还有什什么可以帮您的么？ AI 很好，再⻅见！ U AI Pioneer 19 

21 . NLP 区 术 cn • 意图识别 社 技 g. • NER 能 cu • 填槽、槽位继承 智 ai 工 . • 意图继承 ww • 失败反问 G人 w • 智能澄清 CU AI AI Pioneer 20 

22 . NLP 与⽂文本机器器⼈人的区别 区 术 cn 社 技 g. 能 cu 智 ai 工 . ww G人 w • 意图澄清需要实时TTS • 时间概念，主动式交互 CU • 更更多的Actions • 输⼊入更更⼝口语化，错别字多 • …… AI AI Pioneer 21 

23 . 智能语⾳音客服下的NLP 区 术 cn 社 技 g. 易易⽤用 可控 能 cu 智 ai 工 . ww G人 w 1. 提⾼高语义理理解的精准度 ⽅方向 2. 提⾼高泛化，降低运营成本 3. 兜住ASR的bad case CU AI AI Pioneer 22 

24 .AI Pioneer AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社 区 语⾳音合成（TTS） 23 

25 . TTS 区 术 cn TTS⼯工作原理理 社 text 技 g. wav 能 cu 智 ai Text Wav frontend model vocoder 工 . feature feature ww G人 w • 拼接法 • 参数法(时延模型&声学模型分开) CU • 端到端合成(WaveNet，Tacotron，DeepVoice，Transfromer TTS) AI AI Pioneer 24 

26 . TTS 满⾜足千⼈人千⾯面的变量量的需求 区 术 cn 社 技 g. • 身份认证 例例：请问您是不不是XXX？ 能 cu • 数值通知 智 ai 例例：您的信⽤用卡账户已经逾期X天了了，⽋欠款⾦金金额为XX元 工 . ww • 动态查询 例例：查询到您上个⽉月的消费⼀一共有X笔，总计X元 G人 w CU 1.0 真⼈人录⾳音+any TTS 2.0 全TTS 3.0 真⼈人录⾳音+TTS（同⼀一发⾳音⼈人） AI AI Pioneer 25 

27 . TTS未来 区 术 cn 社 技 g. 1、端到端的速度提升，商⽤用 能 cu 智 ai 工 . 2、语⾳音合成的情感 ww G人 w 3、定制化语⾳音服务、克隆隆 CU AI AI Pioneer 26 

28 . AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn THANKS 社 区 27