4 MIND - 基于动态路由的用户多向量召回-睿德

1 .MIND - 基于动态路由的用户多向量召回 睿德 2021-3-20 

2 . 01 02 03 问题背景 算法思路 系统架构 

3 .#01 问题背景 

4 .问题背景 应用场景 • 在一个典型的推荐场景中, 一个经过筛选 排序的, 贴近用户兴趣的推荐列表最终被 推荐给用户. • 数据量大, 处理亿级的用户与亿级的商品. • 在实际实践中, 我们将推荐系统拆分为召 回 (Match) 与排序 (Rank). 首页信息流 微详情页 

5 .问题背景 召回 • 召回系统负责从海量的候选商品中挑选出与 用户兴趣相关的商品集合. • 召回作为算法的前置环节, 直接决定了整个系 统的效果上限. • 长久以来, 协同过滤是业界主要的召回算法, 使用 KV 索引, 简单, 高效, 时效性强, 下界极 高, 但上界受限 • 向量检索使得用户与商品能以向量的形式进 行表征, 增强了数据的表达能力, 同时便于增 加更多的特征信息与应用更复杂的深度模型 SWING I2I Graph Embedding 

6 .问题背景 电商场景特点 – 数据多峰分布 • 用户行为丰富 • 用户的购物需求和浏览兴趣往 往横跨多个类目 • 在维度有限的情况下, 单个用户 向量对用户兴趣刻画不足 

7 .#02 算法思路 

8 .算法思路 如何表达用户的多个兴趣 • 聚类 • 这个聚类过程需要能够很好地 嵌入到深度模型结构中 • 我们希望这个聚类是一个软聚 类, 更多地保留特征(行为)之间 组合的可能 • 这个过程需要足够快地收敛 • 胶囊网络 - CapsNet 胶囊网络示意 

9 .算法思路 如何表达用户的多个兴趣 

10 .算法思路 如何学习用户的多个兴趣 • 将用户的行为序列表达成多个兴趣向量, 引入了新的问题: 在训练过程中, 抽取出来的多个兴趣对应了一个具体行为, 如何进行求解. • 具体来说, 问题可以表述为对于每条训练样本, 使用用户 的哪个兴趣进行训练. • 用户某次具体的行为, 是其多个兴趣其中一个的具体表现. • 因此, 在每次训练中, 根据用户后续的实际行为, 在多个兴 趣中挑选与后续行为最相关的兴趣, 进行训练. • 这个根据 label 来挑选具体兴趣的机制, 我们称之为 Label-aware Attention. 

11 .算法思路 MIND MIND 模型架构 

12 .算法思路 效果展示 兴趣1召回 – 服饰 兴趣2召回 – 钱包 兴趣3召回 – 游戏 用户行为序列 兴趣4召回 – 自行车 

13 .#03 系统架构 

14 .系统架构 流程 • 每天离线增量训练模型 • 模型训练完成后, 导出最新商品向量 • 分别将模型与商品向量回流到线上系统 • 用户请求打分服务, 得到用户向量, 并通 过用户向量请求召回服务, 得到召回结果 User 引擎 Real-Time Embed Basic Prediction • 在线使用自研 Proxima 向量检索引擎 Engine Server • 利用 GPU 对向量检索进行加速，单次 查询 9 个向量延迟 5ms 以内 • 支持 fp16 量化, int8 量化 • 支持商品索引实时更新 

15 .系统架构 全图化架构 Biz Parse Biz Optimize Split Desc Proxy Build Service User Embed 管控系统 User Search Item Item Features Features 

16 .关注我们 关注 “AI 检索技术博客”公众号， 获取更多重磅讲师技术文章、 相关领域资讯、以及线下分享活动信息 

17 .Thanks