腾讯 王辉 - 《小Q机器人的诞生之路》_部分2

1 .响应速度优化 优化之后，应答速度在主流硬件里处于领先地位，并且后续还有优化空间。 测试数据来源：测试同学 测试数据来源：link.oa.com 

2 .唤醒成功率低 第一版本工程机器出来以后，遇到一个比较大的问题是唤醒成功率低，跟市 面上的竞品做了对比测试： 

3 .唤醒成功率低 PC调试工具连接前端IC，dump工作时各寄存器的设置，确认IC配置是否正确。 发现问题：codec模块AEC没有打开。 

4 .唤醒成功率低 前端adc、codec抓取原始音频pcm数据，分析前端信号完整性。 找到问题原因： 1. mic输入信号饱和，信号被截幅。 2. AEC参考信号饱和，信号被截幅。 

5 .唤醒成功率低 针对前端信号幅度被截的问题，调整了codec的参数，开启硬件回声消除； 调整mic输入的放大增益参数以及调整AEC 信号的放大增益参数，确保信号幅度的完整性。 测试的成功率在3m安静环境测试，由原来的55%提升到82%，有明显的提升，但是跟竞品对 比还有明显差距。 

6 .唤醒成功率低-优化 专业音频实验室测试，验证Mic频响和结构密封性。 

7 .唤醒成功率低 APP 软件分析，应用层、Audio framework 、USB声卡驱动代码分析， Audio framework USB眼图信号分析 Audio HAL 问题原因： USB driver中多核多线程并发情形下有一个变量变成了异常值，引 起USB传输异常，导致APP录音一直获取不到数据卡住。 USB HAL 解决措施： USB Driver 修改USB驱动bug，推动解决了MTK底层USB Driver的bug。 codec 录音流程 

8 .唤醒成功率低 优化以后，小Q机器人的唤醒成功率有明显的提升，3m距离安静唤醒成功率 提升到97%，跟竞品对比，我们的唤醒成功率略为超过它们。 

9 .唤醒体验优化 你好⼩小微 明天天⽓气？ 待机 唤醒 开启会话 静⾳音检测 回包 结束会话 现有模式痛点： 1.唤醒纯客户端识别，内置识别库为一次训练结果，唤醒率与误唤醒率固定，动态升级困难，9月份第一版数据 为 误 唤醒为 10小时8次，唤醒率为 60%； 2.只有当唤醒后，开启会话后，用户的语音内容才会被传输至后台，在用户群体差异化情况下，不同习惯容易造成本 身语音内容丢失，进而语义分析不准确，导致内容异常。9月份第一版语义的成功率为 70% 

10 .用户唤醒方式对比分析 间断说话 你好⼩小微 ， 明天天⽓气怎么样？ 会话开启 数据传输 语⾳音识别 语义分析 明天天气怎么样 天气|明天 连续说话 你好⼩小微 明天天⽓气怎么样？ 会话开启 数据传输 语⾳音识别 语义分析 你好⼩小微 天气怎么样 天气|今天 新模式雏形 你好⼩小微 明天天⽓气怎么样？ 会话开启 数据传输（Buff+数据） 语⾳音识别 语义分析 2.后台状态校验 明天天气怎么样 天气|明天 

11 .高可用唤醒方案 [唤醒拆分方案] [后台状态机管理方案] 提高唤醒率，降低误唤醒率 针对用户发出语音指令后，可能产生 【分析】：拆分本地唤醒及后台唤 三种最终状态的交互状态，由后台返 醒，本地唤醒提高唤醒率，后台唤醒 回3个不同状态的标志位供客户端处 降低误唤醒率，后台部分可以实时动 理。 态调整 + State1.未唤醒。(结果态) 无缝支持连续或断续语音指令 State2.静音检测有停顿，需要 【分析】：唤醒词拆分，提前 重开会话。(结果态)
 开启会话，可以达到连续发布 State3.唤醒(中间态)。 语音，保证内容完整性 

12 .高可用唤醒方案—连续唤醒 你好 你好小微今天天气怎么样？ 缓冲区 数据 本地唤醒 开启会话 后台唤醒 返回状态码 小微今天天气怎么样？ State3:唤醒:中间态 待机 结束会话 后台响应 静音检测 

13 .高可用唤醒方案—间断唤醒 你好 你好⼩小微，今天天⽓气怎么样？ 缓冲区 数据 本地唤醒 开启会话 后台唤醒 返回状态码 小微 State3:唤醒:中间态 State2:重开会话:结果态 待机 后台响应 开启新会话 后台响应 静音检测 今天天气怎么样？ 

14 .高可用唤醒方案—数据对比 • 保证用户内容完整性，提高语义和意图准确率 • 唤醒拆分，动态调整，有效提高唤醒率，并降低 误唤醒率，误唤醒率（8/10h -> 1/10h） 

15 .硬件项目之坑 产品定义 外观设计 功能手板 外观手板 概念设计 结构手板 开模 一试 二试 首量 批量 

16 .硬件项目之坑 1 2 3 4 周期长 供应链波动 成本高 前期充分准备 

17 .变更成本高 时间成本 人力成本 资金成本 

18 .变更成本高 这个颜色不够满意 

19 .变更成本高 这个按键的位置改一下？ 

20 .供应链波动风险 整机供应商 模具 摄像头 屏幕 塑胶件 电路板 屏 塑胶件 油漆 镜片 玻璃盖板 喷涂 传感器 触控 备份 备份 备份 审厂 商务谈判 合同制约 

21 .供应链波动风险 交期可以提前么？排期 不好意思我在装 其他产品~明年 见~ 

22 .质量风险 良品率：产线上，最终通过测试的良品数量占投入材料理论生产出的数量的比例。 

23 .质量风险 毁灭性的bug 

24 .前期充分准备的重要性 变更成本高 质量风险 周期长 前期准备 硬件创新必须一步一个脚印的按部就班。 供应链波动 

25 .总结 

26 .总结 1 聊天机器人 2 腾讯云小微 3 小Q机器人 起源 发展 落地 • 海海量量语料料 • 能⼒力力整合 • 落地⽅方案 • 数据检索 • 任务对话⽀支持 • 系统架构 • 独家配⽅方数据Rank • 硬件填坑之旅 • 响应速度优化 • 唤醒成功率优化 • 唤醒⽅方案优化 • 语⾳音识别优化 • 硬件项⽬目之坑 

27 .