人工智能如火如荼,其中智能机器人是人工智能各技术比较直接的落地点,小Q机器人也是在这个背景下诞生,本演讲主要分享小Q机器人从0到诞生的整个过程,包括互联网公司如何快速启动一款智能硬件的研发工作,硬件如何设计和打造(硬件设计、硬件调优、ROM定制、质量控制等),软件如何整合和优化(包括语音唤醒、语音识别、语义理解、内容处理、TTS等),以及一些过程中的经验分享和对未来的展望,希望能给大家带来启发。

注脚

展开查看详情

1.响应速度优化 优化之后,应答速度在主流硬件里处于领先地位,并且后续还有优化空间。 测试数据来源:测试同学 测试数据来源:link.oa.com

2.唤醒成功率低 第一版本工程机器出来以后,遇到一个比较大的问题是唤醒成功率低,跟市 面上的竞品做了对比测试:

3.唤醒成功率低 PC调试工具连接前端IC,dump工作时各寄存器的设置,确认IC配置是否正确。 发现问题:codec模块AEC没有打开。

4.唤醒成功率低 前端adc、codec抓取原始音频pcm数据,分析前端信号完整性。 找到问题原因: 1. mic输入信号饱和,信号被截幅。 2. AEC参考信号饱和,信号被截幅。

5.唤醒成功率低 针对前端信号幅度被截的问题,调整了codec的参数,开启硬件回声消除; 调整mic输入的放大增益参数以及调整AEC 信号的放大增益参数,确保信号幅度的完整性。 测试的成功率在3m安静环境测试,由原来的55%提升到82%,有明显的提升,但是跟竞品对 比还有明显差距。

6.唤醒成功率低-优化 专业音频实验室测试,验证Mic频响和结构密封性。

7.唤醒成功率低 APP 软件分析,应用层、Audio framework 、USB声卡驱动代码分析, Audio framework USB眼图信号分析 Audio HAL 问题原因: USB driver中多核多线程并发情形下有一个变量变成了异常值,引 起USB传输异常,导致APP录音一直获取不到数据卡住。 USB HAL 解决措施: USB Driver 修改USB驱动bug,推动解决了MTK底层USB Driver的bug。 codec 录音流程

8.唤醒成功率低 优化以后,小Q机器人的唤醒成功率有明显的提升,3m距离安静唤醒成功率 提升到97%,跟竞品对比,我们的唤醒成功率略为超过它们。

9.唤醒体验优化 你好⼩小微 明天天⽓气? 待机 唤醒 开启会话 静⾳音检测 回包 结束会话 现有模式痛点: 1.唤醒纯客户端识别,内置识别库为一次训练结果,唤醒率与误唤醒率固定,动态升级困难,9月份第一版数据 为 误 唤醒为 10小时8次,唤醒率为 60%; 2.只有当唤醒后,开启会话后,用户的语音内容才会被传输至后台,在用户群体差异化情况下,不同习惯容易造成本 身语音内容丢失,进而语义分析不准确,导致内容异常。9月份第一版语义的成功率为 70%

10.用户唤醒方式对比分析 间断说话 你好⼩小微 , 明天天⽓气怎么样? 会话开启 数据传输 语⾳音识别 语义分析 明天天气怎么样 天气|明天 连续说话 你好⼩小微 明天天⽓气怎么样? 会话开启 数据传输 语⾳音识别 语义分析 你好⼩小微 天气怎么样 天气|今天 新模式雏形 你好⼩小微 明天天⽓气怎么样? 会话开启 数据传输(Buff+数据) 语⾳音识别 语义分析 2.后台状态校验 明天天气怎么样 天气|明天

11.高可用唤醒方案 [唤醒拆分方案] [后台状态机管理方案] 提高唤醒率,降低误唤醒率 针对用户发出语音指令后,可能产生 【分析】:拆分本地唤醒及后台唤 三种最终状态的交互状态,由后台返 醒,本地唤醒提高唤醒率,后台唤醒 回3个不同状态的标志位供客户端处 降低误唤醒率,后台部分可以实时动 理。 态调整 + State1.未唤醒。(结果态) 无缝支持连续或断续语音指令 State2.静音检测有停顿,需要 【分析】:唤醒词拆分,提前 重开会话。(结果态)
 开启会话,可以达到连续发布 State3.唤醒(中间态)。 语音,保证内容完整性

12.高可用唤醒方案—连续唤醒 你好 你好小微今天天气怎么样? 缓冲区 数据 本地唤醒 开启会话 后台唤醒 返回状态码 小微今天天气怎么样? State3:唤醒:中间态 待机 结束会话 后台响应 静音检测

13.高可用唤醒方案—间断唤醒 你好 你好⼩小微,今天天⽓气怎么样? 缓冲区 数据 本地唤醒 开启会话 后台唤醒 返回状态码 小微 State3:唤醒:中间态 State2:重开会话:结果态 待机 后台响应 开启新会话 后台响应 静音检测 今天天气怎么样?

14.高可用唤醒方案—数据对比 • 保证用户内容完整性,提高语义和意图准确率 • 唤醒拆分,动态调整,有效提高唤醒率,并降低 误唤醒率,误唤醒率(8/10h -> 1/10h)

15.硬件项目之坑 产品定义 外观设计 功能手板 外观手板 概念设计 结构手板 开模 一试 二试 首量 批量

16.硬件项目之坑 1 2 3 4 周期长 供应链波动 成本高 前期充分准备

17.变更成本高 时间成本 人力成本 资金成本

18.变更成本高 这个颜色不够满意

19.变更成本高 这个按键的位置改一下?

20.供应链波动风险 整机供应商 模具 摄像头 屏幕 塑胶件 电路板 屏 塑胶件 油漆 镜片 玻璃盖板 喷涂 传感器 触控 备份 备份 备份 审厂 商务谈判 合同制约

21.供应链波动风险 交期可以提前么?排期 不好意思我在装 其他产品~明年 见~

22.质量风险 良品率:产线上,最终通过测试的良品数量占投入材料理论生产出的数量的比例。

23.质量风险 毁灭性的bug

24.前期充分准备的重要性 变更成本高 质量风险 周期长 前期准备 硬件创新必须一步一个脚印的按部就班。 供应链波动

25.总结

26.总结 1 聊天机器人 2 腾讯云小微 3 小Q机器人 起源 发展 落地 • 海海量量语料料 • 能⼒力力整合 • 落地⽅方案 • 数据检索 • 任务对话⽀支持 • 系统架构 • 独家配⽅方数据Rank • 硬件填坑之旅 • 响应速度优化 • 唤醒成功率优化 • 唤醒⽅方案优化 • 语⾳音识别优化 • 硬件项⽬目之坑

27.