申请试用
HOT
登录
注册
 
4 MIND - 基于动态路由的用户多向量召回-睿德
1 点赞
2 收藏
5下载
AI 检索技术社区
/
发布于
/
144
人观看

议题简介:

手淘首页的推荐面临着两个极具挑战性的问题。一是业务数据量巨大, 包括十亿级的用户和商品; 二是首页开屏即现, 对算法的响应时间有严格要求。在实际实践中, 我们将推荐系统拆分为召回与排序两个子系统。其中, 召回系统从海量的候选商品中挑选出与用户兴趣相关的商品集合, 排序系统对该商品集合中的每一个商品依据业务目标进行打分, 打分较高的商品作为推荐结果展示给用户。推荐算法的效果同时受到两个子系统的影响, 召回作为算法的前置环节, 更是决定了整个系统的效果上限。本次分享中, 我们将分享 MIND 召回算法及其系统架构设计。

嘉宾简介:

睿德,淘系技术部高级算法专家。从事推荐技术召回, 排序算法的开发。

展开查看详情

1.MIND - 基于动态路由的用户多向量召回 睿德 2021-3-20

2. 01 02 03 问题背景 算法思路 系统架构

3.#01 问题背景

4.问题背景 应用场景 • 在一个典型的推荐场景中, 一个经过筛选 排序的, 贴近用户兴趣的推荐列表最终被 推荐给用户. • 数据量大, 处理亿级的用户与亿级的商品. • 在实际实践中, 我们将推荐系统拆分为召 回 (Match) 与排序 (Rank). 首页信息流 微详情页

5.问题背景 召回 • 召回系统负责从海量的候选商品中挑选出与 用户兴趣相关的商品集合. • 召回作为算法的前置环节, 直接决定了整个系 统的效果上限. • 长久以来, 协同过滤是业界主要的召回算法, 使用 KV 索引, 简单, 高效, 时效性强, 下界极 高, 但上界受限 • 向量检索使得用户与商品能以向量的形式进 行表征, 增强了数据的表达能力, 同时便于增 加更多的特征信息与应用更复杂的深度模型 SWING I2I Graph Embedding

6.问题背景 电商场景特点 – 数据多峰分布 • 用户行为丰富 • 用户的购物需求和浏览兴趣往 往横跨多个类目 • 在维度有限的情况下, 单个用户 向量对用户兴趣刻画不足

7.#02 算法思路

8.算法思路 如何表达用户的多个兴趣 • 聚类 • 这个聚类过程需要能够很好地 嵌入到深度模型结构中 • 我们希望这个聚类是一个软聚 类, 更多地保留特征(行为)之间 组合的可能 • 这个过程需要足够快地收敛 • 胶囊网络 - CapsNet 胶囊网络示意

9.算法思路 如何表达用户的多个兴趣

10.算法思路 如何学习用户的多个兴趣 • 将用户的行为序列表达成多个兴趣向量, 引入了新的问题: 在训练过程中, 抽取出来的多个兴趣对应了一个具体行为, 如何进行求解. • 具体来说, 问题可以表述为对于每条训练样本, 使用用户 的哪个兴趣进行训练. • 用户某次具体的行为, 是其多个兴趣其中一个的具体表现. • 因此, 在每次训练中, 根据用户后续的实际行为, 在多个兴 趣中挑选与后续行为最相关的兴趣, 进行训练. • 这个根据 label 来挑选具体兴趣的机制, 我们称之为 Label-aware Attention.

11.算法思路 MIND MIND 模型架构

12.算法思路 效果展示 兴趣1召回 – 服饰 兴趣2召回 – 钱包 兴趣3召回 – 游戏 用户行为序列 兴趣4召回 – 自行车

13.#03 系统架构

14.系统架构 流程 • 每天离线增量训练模型 • 模型训练完成后, 导出最新商品向量 • 分别将模型与商品向量回流到线上系统 • 用户请求打分服务, 得到用户向量, 并通 过用户向量请求召回服务, 得到召回结果 User 引擎 Real-Time Embed Basic Prediction • 在线使用自研 Proxima 向量检索引擎 Engine Server • 利用 GPU 对向量检索进行加速,单次 查询 9 个向量延迟 5ms 以内 • 支持 fp16 量化, int8 量化 • 支持商品索引实时更新

15.系统架构 全图化架构 Biz Parse Biz Optimize Split Desc Proxy Build Service User Embed 管控系统 User Search Item Item Features Features

16.关注我们 关注 “AI 检索技术博客”公众号, 获取更多重磅讲师技术文章、 相关领域资讯、以及线下分享活动信息

17.Thanks

1 点赞
2 收藏
5下载
相关文档