关于FAQ-QA算法中台的思考和实践

高星(空崖)阿里巴巴智能服务事业部算法专家, 致力于智能人机交互领域的算法研究和业务落地,先后参与阿里小蜜、店小蜜的核心算法研发工作。目前在阿里小蜜团队担任 FAQ-QA算法中台负责人, 推动深度学习模型更低成本更广泛的应用,提升业务支持效率,助力业务高速发展。

展开查看详情

1.关于FAQ-QA算法中台的思考 区 术 cn 社 和实践 技 g. 能 cu 智 ai 高星(空崖) 工 . 达摩院-智能服务-小蜜FAQ算法团队 ww G人 w CU AI

2.智能服务事业部 背景介绍 1 区 术 cn 我们面临的挑战是什么? 要解决的问 社 题是什么?中台的目标是什么? 技 g. 角色和流程 2 能 cu 面对挑战我们的技术体系如何应对? 各种角色如何协作? 智 ai 中台架构 工 . 3 ww 中台包含哪些内容?算法平台框架如 何设计?算法工作流程如何产品化? G人 w 展望未来 4 落地过程中的挑战是什么?未来我们 CU 的工作方向是什么? AI

3.智能服务事业部 区 术 cn 社 技 g. 能 cu 智 ai 工 . 背景介绍 ww G人 w 我们面临的挑战是什么? 要解决的问题是什么? 中台的目标是什么? CU AI

4.智能服务事业部 FAQ问答模块不可或缺 区 术 cn 社 问答系统技术演进 技 g. 能 cu 智 ai 规则/模板 规则/模板 规则/模板 规则/模板 规则/模板 工 . ww FAQ问答 FAQ问答 FAQ问答 FAQ问答 G人 w 知识图谱 知识图谱 生成式问答 知识图谱 生成式问答 阅读理解 阅读理解 CU Visual QA AI 易用&可控, 依然是智能客服产品方案中的基础和核心

5.智能服务事业部 复杂的业务生态,高速的业务发展 区 术 cn 社 技 g. 阿里的业务走到哪里, 服务就要做到那里 能 cu 平台商家和企业在哪里, 服务的赋能就要做到那里 智 ai 工 . ww G人 w CU AI

6.智能服务事业部 高昂的协作成本,低效的业务支持 区 术 cn 社 技 g. 算法工程师之间的协作成本高 算法工程师与业务之间的协作成本高 能 cu 智 ai 工 . ww 接口没有统一的标准和规范 算法模型的野蛮生长 重复造轮子 G人 w 技术的演进成本 模型孤岛 业务的应用成本 CU AI

7.智能服务事业部 高昂的协作成本,低效的业务支持 区 术 cn 社 技 g. 算法工程师之间的协作成本高 算法工程师与业务之间的协作成本高 能 cu 智 ai 依然很多业务需要模型定制 模型共享 成本与效益的均衡 模型定制 工 . ww 算法通过“项目组”形式支持业务 业务 提需求 G人 w 标注数据 标注数据 CU 算法 分析需求 算法方案 试验 试验 上线 AI 算法能力不成体系,缺乏业务分析方法论, 支持流程没有产品化

8.智能服务事业部 区 术 cn 社 技 g. 能 cu 智 ai 工 . 角色和流程 ww G人 w 面对挑战我们的技术体系如何应对? 各种角色如何协作? CU AI

9.智能服务事业部 能力和角色 区 术 cn 社 技 g. 能 cu 提出需求 分析需求 定义问题 分析问题 解决问题 智 ai 给出 Query与Faq问法 设计模型 工 . 最相似的Faq 的匹配 ww 业务场景 G人 w 算法能力 CU AI

10.智能服务事业部 新的业务支持流程 区 术 cn 社 技 g. 能 cu 智 ai 能力提供方 工 . 角色 能力使用方 ww 中台运营方 G人 w CU AI

11.智能服务事业部 区 术 cn 社 技 g. 能 cu 智 ai 工 . 中台架构 ww G人 w中台包含哪些内容? 算法框架如何设计? 算法工作流程如何产品化? CU AI

12.智能服务事业部 中台架构 区 术 cn 技术框架 社 1 技 g. FAQ-QA中台由技术框架、运营平台、业 如何通过框架定义算法能力标准和规 务分析方法论、以及运营服务团队构成 范? 能 cu 的体系,提供各业务方能够快速,低成 本创新的能力 。 能力地图 智 ai 2 我们有哪些能力?具体的深度学习模 工 . 中台通过技术框架,定义出“中台能力” 型是如何设计的? ww 的标准和协议,可与其他算法团队共建 业务分析方法论 某项能力; G人 w 3 业务场景怎么关联到算法能力? 运营平台, 包括能力地图、业务需求 分解、模型训练评测等;通过运营平台, CU 中台提供算法选型、业务发展和运营模 运营平台 式建议; 4 算法工作流程如何产品化? AI

13.智能服务事业部 技术框架 区 术 cn 社 算法能力具象化,统一标准和规范 技 g. 能 cu 智 ai 1. 模型全生命周期的支持 2. 多任务训练 工 . ww 3. ModelHub 4. 内置SOTA模型 G人 w 5. 模块化 CU AI

14. 智能服务事业部 能力地图 AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社 区

15.智能服务事业部 能力地图 区 术 cn 社 举例1:TopK知识定位能力-文本分类 技 g. 能 cu 大多数的业务, “用户问题” 智 ai 的数据分布是比较稳定的, 而且这个数据分布一般呈现 工 . “二八定律”, 最重要的知 ww 识只占其中一小部分。 TopK知识定位能力, 提供 针对“少数最重要的知识” G人 w 精准定位的能力。 CU AI

16.智能服务事业部 能力地图 区 术 cn 社 举例1:TopK知识定位能力-文本分类-应用案例 技 g. 能 cu 智 ai 店小蜜内置知识包:50个左右 工 . ww G人 w CU AI

17.智能服务事业部 能力地图 区 术 cn 社 举例2:LongTail知识定位能力-文本匹配-EEIAP 技 g. 能 cu 除了“少数关键的知识”之外,剩 下的“长尾”的知识, 具有非常灵 智 ai 活的特点, 随时可能新增、删除和 变更。 工 . ww LongTail知识定位能力, 提供针对 “这些大多数的知识”低成本维护 且准确定位的能力。 G人 w • Bimpm( Zhiguo Wang) • Decomposable Attention Model(Parikh) CU • ESIM(Qian Chen) • CAFÉ(Yi Tay) AI • DIIN(Yichen Gong) • Lexical Decomposition and Composition(Zhiguo Wang) • Dynamic-clip attention compare- aggregate(Weijie Bian)

18.智能服务事业部 能力地图 区 术 cn 社 举例2:LongTail知识定位能力-文本匹配 技 g. 能 cu Alignment Layer: 智 ai 工 . ww Fusion Layer: G人 w CU AI N-th block input: 是第n个block的输出

19.智能服务事业部 能力地图 区 术 cn 社 举例2:LongTail知识定位能力-文本匹配 技 g. 能 cu 智 ai Embedding Layer的输出,point-wise information 工 . ww Encoder Layer的输出,contextual information G人 w Fusion Layer的输出,aligned information CU AI

20.智能服务事业部 能力地图 区 术 cn 社 举例2:LongTail知识定位能力-文本匹配 技 g. 能 cu 智 ai 工 . ww G人 w CU AI

21.智能服务事业部 能力地图 区 术 cn 社 举例3:LongTail知识定位能力-少样本文本匹配 技 g. 能 cu 智 ai “少样本&无样本” 依然是阻碍我们业务发展的一个很重要因素。 工 . 业务产出“足够的高质量的标注样本”的成本还是挺高的, 而我们的业务发展的速度又很快, ww 所以可能存在很多业务场景,我们承担不起这个标注成本。所以为了降低这个成本,更快更 好地支持业务发展,我们在“迁移学习、多任务学习、预训练语言模型、半监督学习”等方 G人 w 面进行了一些探索,沉淀了一些方法,一定程度上缓解了少样本问题。 CU AI

22.智能服务事业部 能力地图 区 术 cn 社 技 g. 业务定制BERT 多任务学习 模型蒸馏 能 cu Domain1 Domain2 Domain3 Domain4 Domain5 Domain6 Domain7 智 ai (2.8w) (2w) (3w) (1.2w) (500) (2w) (1.6k) 工 . ww Baseline(EEIAP+Multitask) 86.18 86.18 85.97 88.33 79.61 87.60 85.96 官方BERT+finetune G人 w 87.12 86.80 86.70 88.70 68.87 88.32 70.59 业务定制BERT+finetune 87.87 85.74 87.29 90.57 71.23 88.80 73.12 CU 业务定制BERT+ 89.06 88.43 90.02 91.26 84.30 89.50 88.32 Joint Learning AI 模型蒸馏(Distillation) 88.32 88.85 89.84 91.03 84.10 89.43 88.21

23.智能服务事业部 能力地图 区 术 cn 社 技 g. 业务定制BERT 多任务学习 模型蒸馏 能 cu 智 ai p 一般做法是,基于官方模型在领域Unlabel数据上进一步pretrain,作为领 工 . ww 域相关的BERT模型,在下游任务中使用 G人 w l 基于淘系UGC数据&小蜜会话数据进行pretrain p 除此之外,我们还利用小蜜的用户点击数据&商家配置问法等平台产生的弱 标签数据进一步pretrain,得到最终的领域&任务定制的BERT模型,应用于 CU 下游任务 AI l 用户点击数据包含更多的监督信息,对下游的匹配任务起着重要的作用

24.智能服务事业部 能力地图 区 术 cn 社 业务定制BERT 多任务学习 模型蒸馏 技 g. 能 cu 多任务训练: 1.初始化所有模型参数(θ); 智 ai 2.恢复BERT共享编码层(lexicon encoder,transformer encoder)(领域&任务定制BERT模型)变量; 工 . 3.设置迭代次数epochmax=5, 学习率lr=1e-5; ww 4.设置数据混合策略&finetune策略; 5.for t in 1,2,..,T: end 6.D = D1 ∪ D2 ∪ .. ∪ DT G人 w packed the dataset t into mini-batch Dt 7.for epoch in 1,2,3,…, epochmax: Shuffle D CU for bt in D: compute loss:L(θ) compute gradient: AI 业务定制 update model BERT模型 8.设置学习率lr=1e-6,D = Dtarget , epochmax=1 9.重复7

25.智能服务事业部 能力地图 区 术 cn 社 技 g. 业务定制BERT 多任务学习 模型蒸馏 能 cu 智 ai 工 . p 数据增广 ww l 线上真实分布无标签数据 l 其它领域标签数据 G人 w p 硬标签和软标签联合训练(硬标签更低的权重) l 无标签数据的软标签(BERT预测)训练 CU l 标签数据(目标领域和其它领域)上硬标签(标注) AI 和软标签(BERT预测)联合训练

26.智能服务事业部 能力地图 区 术 cn 社 举例3:TopK知识定位能力-少样本文本匹配-应用案例 技 g. 能 cu 智 ai 店小蜜7个行业:服饰、母婴、 美妆、数码、茶酒零食等 工 . ww Lazada 7种语言6个国家: 泰 国、马来西亚、菲律宾、新加 坡等 G人 w 云小蜜:政务等行业 CU AI

27.智能服务事业部 业务分析方法论 区 术 cn 社 业务场景 关联到 算法能力 技 g. 能 cu 数据分布情况 是否依赖上下文 智 ai 工 . 业务运营成本 是否小语种 ww G人 w 业务数据(未标注)积累情况 业务目标 CU AI

28.智能服务事业部 运营平台 区 术 cn 社 将算法工作流程产品化,业务全生命周期的支持 技 g. 能 cu 智 ai 工 . ww 解决方案的形成 解决方案的执行 解决方案的效果跟踪 能力的发现/比较/选择/ G人 w 标注/训练/评测/部署 监控/干预/优化 接入 CU AI

29.智能服务事业部 运营平台 区 术 cn 社 举例1: xx小蜜“知识满意度提升”需求 技 g. 能 cu 智 ai 1.数据分布集 2.Top20知识 4. 选择“TopK知识 3.人力投入充足 中Top20知识 定位准确率低 定位能力-文本分类” 工 . ww 5.模型参数配 置(参考模版) G人 w 6.标注样本 7.提交模型训练任务 8.模型评测 重复5~8 业务上线 CU AI