申请试用
HOT
登录
注册
 
深度学习在58APP首页推荐排序的实践
0 点赞
0 收藏
1下载
AICUG人工智能社区
/
发布于
/
237
人观看

嘉宾介绍:

王连臣,58同城高级算法工程师,主要负责58APP首页推荐场景下深度学习排序模型的优化与迭代。

内容摘要:

行为序列化已然成为用户兴趣建模的主流方式,本次议题主要介绍序列化建模在首页推荐场景的实践,提出了适配业务特点的深度学习模型,经历了从双通道到多通道到多场景适配的升级迭代过程,通过多种行为序列通道,实现了对用户兴趣的精准刻画。

展开查看详情

1. .c n c ug .a i ww w 社 区 智能 工 【第十九期】搜索推荐深度学习专题 人 U G A I C

2. .c n g c u 深度学习在58APP首页推荐排序的实践 .a i w ww 社 区 智能 人工 U G I C A 分享嘉宾:王连臣-高级算法工程师

3.目录 .c n • 场景/挑战/兴趣建模 c ug .a i ww • 双通道深度兴趣模型的应用 w 社 区 智能 人 工 • 多通道深度兴趣模型的创新 U G A I C • 总结/展望

4.58APP首页推荐场景介绍 .c n c ug • .a i 大规模推荐场景:UV千万量级、帖子候选集亿 ww w 级别、模型训练样本10亿级别 社 区 智 能 人工车、本地生活、新房、新车等 • 多业务融合:覆盖租房、招聘、二手房、二手 U G A I C

5.面临挑战:多业务融合 .c n c u g • 业务差异带来的特征对齐困难 .a i ww 1. w 帖子属性信息差异->用户兴趣业务差异->样本中帖子特征与用户兴趣特征无法对齐 2. 社 区 反馈特征由于业务差异效果不理想 智 能 人工 U G • 多业务特征工程流程/逻辑复杂 A I C 1. 部分特征需要针对不同业务维护特有的数据流程(e.g.用户兴趣构建)->维护代价大 2. 业务特定的特征工程逻辑(e.g.匹配交叉特征)->复杂度高

6. 兴趣建模 动机:利用序列化模型的建模能力,以用户行为序列作为模型的核心输入,解决特征对齐困难, .c n 降低特征工程代价 c ug .a i ww 用户行为序列构建 w 序列模型选型 社 区 智能 1. 序列构成:用户点击/转化行为(全站) 1. DIN:注意力兴趣 人工 2. 序列表征:帖子ID、类目、地域 2. DIEN:兴趣抽取与演化-动态用户兴趣 3. 序列长度:基于业务周期 U G 3. Transformer:多头注意力兴趣 结论: A I C 1. 资源占用: DIEN > Transformer > DIN 2. 线上效果: Transformer/DIEN > DIN 3. 纯序列兴趣模型的效果并不能超越已有特征工程做得比较完善的XGB模型

7.双通道深度兴趣模型的应用 .c n c ug • 模型结构 .a i ww w • 离线、在线性能优化 社 区 智 能 工 • 线上效果优化 人 U G A I C

8.双通道-模型结构 .c n • 序列化通道 c ug 1. .a i 利用序列化模型,基于用户行为序列,抽取用户兴趣 ww w 定制化通道 区 • 能社 1. 帖子特征、用户特征、交叉特征、上下文特征 工 智 2. 根据业务与场景进行定制化特征交叉 G 人 I CU • 特点 A 1. Embedding&MLP结构基础上支持多种深度学习组件 2. 离散、连续特征可配置,线上线下快速迭代 3. 不同场景迁移成本低

9. 离线性能优化一 • 样本负采样、特征处理前置、样本格式改造 .c n c u g .a i ww w 点击行为 转化行为 社 区 搜索行为 基础特征 智能 工 G人 Spark I CU A tf.FixedLenFeature([], tf.int64) tf.ValLenFeature([], tf.float32) TfRecord tf.FixedLenFeature([], tf.float32) tf.ValLenFeature([], tf.int64)

10. 离线性能优化二 • 并行IO .c n c ug .a i w w 1. parallel_interleave(TfRecord) 2.w 区 map_and_batch() 社 3. prefetch() 智能 人工 4. shuffle() U G 5. repeat() A I C https://www.tensorflow.org/api_docs/python/tf/data/Dataset

11. 离线性能优化-效果 .c n • 离线训练时间5天->5小时(优化后主要耗时取决于模型复杂度) c ug .a i ww w 社 区 智能 人工 U G A I C GPU利用率-优化前 GPU利用率-优化后

12. 线上性能优化 • 并行特征抽取 .c n • Tensorflow Serving并行打分 c u g • 用户兴趣特征Batch内共享 .a i • 模型解耦 ww • 请求数据压缩 w • 耗时分布 区 社 (50,64) 智能(50,64) (50,64) 人工 Batch U G A I C (48000,) Reshape (15,50,64)

13. 线上Serving注意的问题 • Tensorflow-BN层API • Moving_mean/moving_val参数 .c n 高阶API 低阶API 高阶API c u gmoving_mean/moving_var .a i w tf.layers.BatchNormalization tf.nn.batch_normalization tf.layers.BatchNormalization 自动更新(training=True) tf.layers.batch_normalization - w w tf.layers.batch_normalization 自动更新(training=True) tf.keras.layers.BatchNormalization 社 区 - tf.keras.layers.BatchNormalization 手动添加代码 • 智 能 添加代码更新Moving_mean/moving_variance 人 工 U G 模型解耦 • A I C 将Moving_mean/moving_variance参数保存到PB模型 现象:同一条 样本在不同 batch请求中 打分不一致

14. 线上效果优化一 • 用户行为时效性对齐 • 实时日志回流时延分布 .c n c ug .a i ww w 社 区 智能 人工 U G 现象:线下 AUC提升线A I C 上没效果?

15. 线上效果优化二 1. Word2vec向量-待排序帖子基础特征 .c n c ug 2. Word2vec向量-用户行为表征 .a i 3. 模型结构解耦(离线训练,线上解耦) ww w 社 区 • 线上效果 智 能 模型 人工超时率 点击率 转化率 U G 0.409% 14.08% A GBDT I C 双通道(Transformer) 0.214% 5.18% 17.32% 4.03%

16.多通道深度兴趣模型的创新 .c n c ug • 序列化兴趣模型的优化思考 .a i ww w • 模型结构 社 区 智 能 •人 工 U G 离线/线上效果 A I C

17. 序列化兴趣模型的优化思考 .c n c ug • 结合58业务特点如何精准刻画用户兴趣? .a i w w w 1. 业务特点行为低频/需求聚焦 社 2. 引入多种用户行为区 智 能 人 工 U G A I C https://mp.weixin.qq.com/s/wTwv-QmNSq2J4ia5SxB4GA

18.多通道模型-用户兴趣的精细刻画 用户兴趣抽取层 .c n c ug • .a i 点击行为通道(基础兴趣) ww w • 转化行为通道(核心兴趣) 社 区1.待排序帖子 智能 2.位置编码 搜索行为通道(表达兴趣) 工 • G 人 I CU A 场景适配层 • 定制化通道(定制兴趣)

19. 转化行为通道 .c n c ug .a i ww w 转化行为:收藏、电话、微聊、简历投递 社 区 特点: 智能 • 数据稀疏 人工 • 表达用户真实需求 U G 优化点:聚类ID A I C • 泛化能力与区分度上取得平衡 https://mp.weixin.qq.com/s/wTwv-QmNSq2J4ia5SxB4GA

20. 搜索行为通道 • 怎么填平query与帖子二者之间的异构表征差异,将其映射到统一 .c n 的表征空间中,从而保证可交叉性 c ug .a i ww w 社 区 智能 人工 U G A I C https://mp.weixin.qq.com/s/wTwv-QmNSq2J4ia5SxB4GA

21. 线上效果 .c n g 多通道 多通道 i c u .a 双通道 双通道 ww w 基线 基线 帖子点击率 社 区 曝光帖子转化率 智 能 • 人 工 整体效果:多通道深度兴趣模型在点击率,曝光转化率上取得进一步提升, U G • A C 相比基线(规则序)提升幅度20% I 通道效果:点击行为 > 搜索行为 > 转化行为

22.总结 .c n c ug • 离线、线上性能 .a i ww w 1. 样本负采样、特征处理前置、样本格式改造、数据并行 社 区 2. 多batch并行请求、兴趣数据batch内共享、模型解耦、数据压缩 智能 人工 U G A I C

23.总结 .c n c ug • 精细刻画用户兴趣 .a i ww 1. 点击行为通道:每个行为采用帖子ID与关键属性表征 w 区 2. 转化行为通道:根据行为稀疏程度,权衡特征的泛化能力与信号强 社 能 度,采用聚类ID和关键属性表征 智 工 3. 搜索行为通道:基于词向量将搜索词与帖子表征到统一语义空间 人 U G A I C

24.总结 .c n c ug • 注意的问题 .a i 1. 线上线下特征对齐 ww w 区 2. BatchNormalization、Dropout 社 3. Transformer在使用用户行为时一般加入待排序帖子和位置编码 能 工 智 G 人 I CU A

25.展望 .c n c ug • 精细刻画用户兴趣 .a i ww 1. 内容行为通道:建立用户浏览的文章内容与待排序帖子的关联,辅 助用户兴趣建模 w 社 区 • 多场景适配 智 能 人工 1. 定制化通道:根据业务特点进行定制化特征交叉,同一个模型可多 U G A I C 场景适配

26. 部门简介 .c n g c u .a i w 58同城TEG推荐技术团队,以提升连接效率/打磨关键技术能力/服务业务产品为团 ww 队愿景,在工程架构/模型算法/产品形态上持续迭代。目前,排序模型上,基于 社 区 DIEN/Transformer等构建了适配58业务特点的多通道深度模型架构,成为了主要场景 智 能 工 的主流线上模型,仍在进一步结合业务探索新模型架构强化学习/迁移学习等的落地应用, 人 G 期待和大家进一步探讨交流,欢迎感兴趣的同学加入,算法与工程同学都需要。 U A I C 简历可直接发送至罗景,邮箱:luojing04@58.com。

27. .c n c ug .a i ww w 社 区 谢谢! 能 工 智 G 人 I CU A

28. .c n c ug .a i ww w 社 区 智能 人工 U G A I C

0 点赞
0 收藏
1下载