关于FAQ-QA算法中台的思考和实践

1 .关于FAQ-QA算法中台的思考 区 术 cn 社 和实践 技 g. 能 cu 智 ai 高星（空崖） 工 . 达摩院-智能服务-小蜜FAQ算法团队 ww G人 w CU AI 

2 .智能服务事业部 背景介绍 1 区 术 cn 我们面临的挑战是什么？ 要解决的问 社 题是什么？中台的目标是什么？ 技 g. 角色和流程 2 能 cu 面对挑战我们的技术体系如何应对？ 各种角色如何协作？ 智 ai 中台架构 工 . 3 ww 中台包含哪些内容？算法平台框架如 何设计？算法工作流程如何产品化？ G人 w 展望未来 4 落地过程中的挑战是什么？未来我们 CU 的工作方向是什么？ AI 

3 .智能服务事业部 区 术 cn 社 技 g. 能 cu 智 ai 工 . 背景介绍 ww G人 w 我们面临的挑战是什么？ 要解决的问题是什么？ 中台的目标是什么？ CU AI 

4 .智能服务事业部 FAQ问答模块不可或缺 区 术 cn 社 问答系统技术演进 技 g. 能 cu 智 ai 规则/模板 规则/模板 规则/模板 规则/模板 规则/模板 工 . ww FAQ问答 FAQ问答 FAQ问答 FAQ问答 G人 w 知识图谱 知识图谱 生成式问答 知识图谱 生成式问答 阅读理解 阅读理解 CU Visual QA AI 易用&可控， 依然是智能客服产品方案中的基础和核心 

5 .智能服务事业部 复杂的业务生态，高速的业务发展 区 术 cn 社 技 g. 阿里的业务走到哪里， 服务就要做到那里 能 cu 平台商家和企业在哪里， 服务的赋能就要做到那里 智 ai 工 . ww G人 w CU AI 

6 .智能服务事业部 高昂的协作成本，低效的业务支持 区 术 cn 社 技 g. 算法工程师之间的协作成本高 算法工程师与业务之间的协作成本高 能 cu 智 ai 工 . ww 接口没有统一的标准和规范 算法模型的野蛮生长 重复造轮子 G人 w 技术的演进成本 模型孤岛 业务的应用成本 CU AI 

7 .智能服务事业部 高昂的协作成本，低效的业务支持 区 术 cn 社 技 g. 算法工程师之间的协作成本高 算法工程师与业务之间的协作成本高 能 cu 智 ai 依然很多业务需要模型定制 模型共享 成本与效益的均衡 模型定制 工 . ww 算法通过“项目组”形式支持业务 业务 提需求 G人 w 标注数据 标注数据 CU 算法 分析需求 算法方案 试验 试验 上线 AI 算法能力不成体系，缺乏业务分析方法论， 支持流程没有产品化 

8 .智能服务事业部 区 术 cn 社 技 g. 能 cu 智 ai 工 . 角色和流程 ww G人 w 面对挑战我们的技术体系如何应对？ 各种角色如何协作？ CU AI 

9 .智能服务事业部 能力和角色 区 术 cn 社 技 g. 能 cu 提出需求 分析需求 定义问题 分析问题 解决问题 智 ai 给出 Query与Faq问法 设计模型 工 . 最相似的Faq 的匹配 ww 业务场景 G人 w 算法能力 CU AI 

10 .智能服务事业部 新的业务支持流程 区 术 cn 社 技 g. 能 cu 智 ai 能力提供方 工 . 角色 能力使用方 ww 中台运营方 G人 w CU AI 

11 .智能服务事业部 区 术 cn 社 技 g. 能 cu 智 ai 工 . 中台架构 ww G人 w中台包含哪些内容？ 算法框架如何设计？ 算法工作流程如何产品化？ CU AI 

12 .智能服务事业部 中台架构 区 术 cn 技术框架 社 1 技 g. FAQ-QA中台由技术框架、运营平台、业 如何通过框架定义算法能力标准和规 务分析方法论、以及运营服务团队构成 范？ 能 cu 的体系，提供各业务方能够快速，低成 本创新的能力 。 能力地图 智 ai 2 我们有哪些能力？具体的深度学习模 工 . 中台通过技术框架，定义出“中台能力” 型是如何设计的？ ww 的标准和协议，可与其他算法团队共建 业务分析方法论 某项能力； G人 w 3 业务场景怎么关联到算法能力？ 运营平台， 包括能力地图、业务需求 分解、模型训练评测等；通过运营平台， CU 中台提供算法选型、业务发展和运营模 运营平台 式建议； 4 算法工作流程如何产品化？ AI 

13 .智能服务事业部 技术框架 区 术 cn 社 算法能力具象化，统一标准和规范 技 g. 能 cu 智 ai 1. 模型全生命周期的支持 2. 多任务训练 工 . ww 3. ModelHub 4. 内置SOTA模型 G人 w 5. 模块化 CU AI 

14 . 智能服务事业部 能力地图 AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社 区 

15 .智能服务事业部 能力地图 区 术 cn 社 举例1:TopK知识定位能力-文本分类 技 g. 能 cu 大多数的业务， “用户问题” 智 ai 的数据分布是比较稳定的， 而且这个数据分布一般呈现 工 . “二八定律”， 最重要的知 ww 识只占其中一小部分。 TopK知识定位能力， 提供 针对“少数最重要的知识” G人 w 精准定位的能力。 CU AI 

16 .智能服务事业部 能力地图 区 术 cn 社 举例1:TopK知识定位能力-文本分类-应用案例 技 g. 能 cu 智 ai 店小蜜内置知识包：50个左右 工 . ww G人 w CU AI 

17 .智能服务事业部 能力地图 区 术 cn 社 举例2:LongTail知识定位能力-文本匹配-EEIAP 技 g. 能 cu 除了“少数关键的知识”之外，剩 下的“长尾”的知识， 具有非常灵 智 ai 活的特点， 随时可能新增、删除和 变更。 工 . ww LongTail知识定位能力， 提供针对 “这些大多数的知识”低成本维护 且准确定位的能力。 G人 w • Bimpm( Zhiguo Wang) • Decomposable Attention Model(Parikh) CU • ESIM(Qian Chen) • CAFÉ(Yi Tay) AI • DIIN(Yichen Gong) • Lexical Decomposition and Composition(Zhiguo Wang) • Dynamic-clip attention compare- aggregate(Weijie Bian) 

18 .智能服务事业部 能力地图 区 术 cn 社 举例2:LongTail知识定位能力-文本匹配 技 g. 能 cu Alignment Layer: 智 ai 工 . ww Fusion Layer: G人 w CU AI N-th block input： 是第n个block的输出 

19 .智能服务事业部 能力地图 区 术 cn 社 举例2:LongTail知识定位能力-文本匹配 技 g. 能 cu 智 ai Embedding Layer的输出，point-wise information 工 . ww Encoder Layer的输出，contextual information G人 w Fusion Layer的输出，aligned information CU AI 

20 .智能服务事业部 能力地图 区 术 cn 社 举例2:LongTail知识定位能力-文本匹配 技 g. 能 cu 智 ai 工 . ww G人 w CU AI 

21 .智能服务事业部 能力地图 区 术 cn 社 举例3:LongTail知识定位能力-少样本文本匹配 技 g. 能 cu 智 ai “少样本&无样本” 依然是阻碍我们业务发展的一个很重要因素。 工 . 业务产出“足够的高质量的标注样本”的成本还是挺高的， 而我们的业务发展的速度又很快， ww 所以可能存在很多业务场景，我们承担不起这个标注成本。所以为了降低这个成本，更快更 好地支持业务发展，我们在“迁移学习、多任务学习、预训练语言模型、半监督学习”等方 G人 w 面进行了一些探索，沉淀了一些方法，一定程度上缓解了少样本问题。 CU AI 

22 .智能服务事业部 能力地图 区 术 cn 社 技 g. 业务定制BERT 多任务学习 模型蒸馏 能 cu Domain1 Domain2 Domain3 Domain4 Domain5 Domain6 Domain7 智 ai (2.8w) (2w) (3w) (1.2w) (500) (2w) (1.6k) 工 . ww Baseline(EEIAP+Multitask) 86.18 86.18 85.97 88.33 79.61 87.60 85.96 官方BERT+finetune G人 w 87.12 86.80 86.70 88.70 68.87 88.32 70.59 业务定制BERT+finetune 87.87 85.74 87.29 90.57 71.23 88.80 73.12 CU 业务定制BERT+ 89.06 88.43 90.02 91.26 84.30 89.50 88.32 Joint Learning AI 模型蒸馏(Distillation) 88.32 88.85 89.84 91.03 84.10 89.43 88.21 

23 .智能服务事业部 能力地图 区 术 cn 社 技 g. 业务定制BERT 多任务学习 模型蒸馏 能 cu 智 ai p 一般做法是，基于官方模型在领域Unlabel数据上进一步pretrain，作为领 工 . ww 域相关的BERT模型，在下游任务中使用 G人 w l 基于淘系UGC数据&小蜜会话数据进行pretrain p 除此之外，我们还利用小蜜的用户点击数据&商家配置问法等平台产生的弱 标签数据进一步pretrain，得到最终的领域&任务定制的BERT模型，应用于 CU 下游任务 AI l 用户点击数据包含更多的监督信息，对下游的匹配任务起着重要的作用 

24 .智能服务事业部 能力地图 区 术 cn 社 业务定制BERT 多任务学习 模型蒸馏 技 g. 能 cu 多任务训练: 1.初始化所有模型参数(θ)； 智 ai 2.恢复BERT共享编码层(lexicon encoder,transformer encoder)(领域&任务定制BERT模型)变量； 工 . 3.设置迭代次数epochmax=5, 学习率lr=1e-5； ww 4.设置数据混合策略&finetune策略； 5.for t in 1,2,..,T: end 6.D = D1 ∪ D2 ∪ .. ∪ DT G人 w packed the dataset t into mini-batch Dt 7.for epoch in 1,2,3,…, epochmax: Shuffle D CU for bt in D: compute loss：L(θ) compute gradient: AI 业务定制 update model BERT模型 8.设置学习率lr=1e-6，D = Dtarget , epochmax=1 9.重复7 

25 .智能服务事业部 能力地图 区 术 cn 社 技 g. 业务定制BERT 多任务学习 模型蒸馏 能 cu 智 ai 工 . p 数据增广 ww l 线上真实分布无标签数据 l 其它领域标签数据 G人 w p 硬标签和软标签联合训练(硬标签更低的权重) l 无标签数据的软标签(BERT预测)训练 CU l 标签数据(目标领域和其它领域)上硬标签(标注) AI 和软标签(BERT预测)联合训练 

26 .智能服务事业部 能力地图 区 术 cn 社 举例3:TopK知识定位能力-少样本文本匹配-应用案例 技 g. 能 cu 智 ai 店小蜜7个行业：服饰、母婴、 美妆、数码、茶酒零食等 工 . ww Lazada 7种语言6个国家： 泰 国、马来西亚、菲律宾、新加 坡等 G人 w 云小蜜：政务等行业 CU AI 

27 .智能服务事业部 业务分析方法论 区 术 cn 社 业务场景 关联到 算法能力 技 g. 能 cu 数据分布情况 是否依赖上下文 智 ai 工 . 业务运营成本 是否小语种 ww G人 w 业务数据（未标注）积累情况 业务目标 CU AI 

28 .智能服务事业部 运营平台 区 术 cn 社 将算法工作流程产品化，业务全生命周期的支持 技 g. 能 cu 智 ai 工 . ww 解决方案的形成 解决方案的执行 解决方案的效果跟踪 能力的发现/比较/选择/ G人 w 标注/训练/评测/部署 监控/干预/优化 接入 CU AI 

29 .智能服务事业部 运营平台 区 术 cn 社 举例1: xx小蜜“知识满意度提升”需求 技 g. 能 cu 智 ai 1.数据分布集 2.Top20知识 4. 选择“TopK知识 3.人力投入充足 中Top20知识 定位准确率低 定位能力-文本分类” 工 . ww 5.模型参数配 置（参考模版) G人 w 6.标注样本 7.提交模型训练任务 8.模型评测 重复5～8 业务上线 CU AI