深度学习在58APP首页推荐排序的实践

1 . .c n c ug .a i ww w 社 区 智能 工 【第十九期】搜索推荐深度学习专题 人 U G A I C 

2 . .c n g c u 深度学习在58APP首页推荐排序的实践 .a i w ww 社 区 智能 人工 U G I C A 分享嘉宾：王连臣-高级算法工程师 

3 .目录 .c n • 场景/挑战/兴趣建模 c ug .a i ww • 双通道深度兴趣模型的应用 w 社 区 智能 人 工 • 多通道深度兴趣模型的创新 U G A I C • 总结/展望 

4 .58APP首页推荐场景介绍 .c n c ug • .a i 大规模推荐场景：UV千万量级、帖子候选集亿 ww w 级别、模型训练样本10亿级别 社 区 智 能 人工车、本地生活、新房、新车等 • 多业务融合：覆盖租房、招聘、二手房、二手 U G A I C 

5 .面临挑战：多业务融合 .c n c u g • 业务差异带来的特征对齐困难 .a i ww 1. w 帖子属性信息差异->用户兴趣业务差异->样本中帖子特征与用户兴趣特征无法对齐 2. 社 区 反馈特征由于业务差异效果不理想 智 能 人工 U G • 多业务特征工程流程/逻辑复杂 A I C 1. 部分特征需要针对不同业务维护特有的数据流程(e.g.用户兴趣构建)->维护代价大 2. 业务特定的特征工程逻辑(e.g.匹配交叉特征)->复杂度高 

6 . 兴趣建模 动机：利用序列化模型的建模能力，以用户行为序列作为模型的核心输入，解决特征对齐困难， .c n 降低特征工程代价 c ug .a i ww 用户行为序列构建 w 序列模型选型 社 区 智能 1. 序列构成：用户点击/转化行为(全站) 1. DIN：注意力兴趣 人工 2. 序列表征：帖子ID、类目、地域 2. DIEN：兴趣抽取与演化-动态用户兴趣 3. 序列长度：基于业务周期 U G 3. Transformer：多头注意力兴趣 结论： A I C 1. 资源占用: DIEN > Transformer > DIN 2. 线上效果: Transformer/DIEN > DIN 3. 纯序列兴趣模型的效果并不能超越已有特征工程做得比较完善的XGB模型 

7 .双通道深度兴趣模型的应用 .c n c ug • 模型结构 .a i ww w • 离线、在线性能优化 社 区 智 能 工 • 线上效果优化 人 U G A I C 

8 .双通道-模型结构 .c n • 序列化通道 c ug 1. .a i 利用序列化模型，基于用户行为序列，抽取用户兴趣 ww w 定制化通道 区 • 能社 1. 帖子特征、用户特征、交叉特征、上下文特征 工 智 2. 根据业务与场景进行定制化特征交叉 G 人 I CU • 特点 A 1. Embedding&MLP结构基础上支持多种深度学习组件 2. 离散、连续特征可配置，线上线下快速迭代 3. 不同场景迁移成本低 

9 . 离线性能优化一 • 样本负采样、特征处理前置、样本格式改造 .c n c u g .a i ww w 点击行为 转化行为 社 区 搜索行为 基础特征 智能 工 G人 Spark I CU A tf.FixedLenFeature([], tf.int64) tf.ValLenFeature([], tf.float32) TfRecord tf.FixedLenFeature([], tf.float32) tf.ValLenFeature([], tf.int64) 

10 . 离线性能优化二 • 并行IO .c n c ug .a i w w 1. parallel_interleave(TfRecord) 2.w 区 map_and_batch() 社 3. prefetch() 智能 人工 4. shuffle() U G 5. repeat() A I C https://www.tensorflow.org/api_docs/python/tf/data/Dataset 

11 . 离线性能优化-效果 .c n • 离线训练时间5天->5小时（优化后主要耗时取决于模型复杂度） c ug .a i ww w 社 区 智能 人工 U G A I C GPU利用率-优化前 GPU利用率-优化后 

12 . 线上性能优化 • 并行特征抽取 .c n • Tensorflow Serving并行打分 c u g • 用户兴趣特征Batch内共享 .a i • 模型解耦 ww • 请求数据压缩 w • 耗时分布 区 社 (50,64) 智能(50,64) (50,64) 人工 Batch U G A I C (48000,) Reshape (15,50,64) 

13 . 线上Serving注意的问题 • Tensorflow-BN层API • Moving_mean/moving_val参数 .c n 高阶API 低阶API 高阶API c u gmoving_mean/moving_var .a i w tf.layers.BatchNormalization tf.nn.batch_normalization tf.layers.BatchNormalization 自动更新（training=True） tf.layers.batch_normalization - w w tf.layers.batch_normalization 自动更新（training=True） tf.keras.layers.BatchNormalization 社 区 - tf.keras.layers.BatchNormalization 手动添加代码 • 智 能 添加代码更新Moving_mean/moving_variance 人 工 U G 模型解耦 • A I C 将Moving_mean/moving_variance参数保存到PB模型 现象：同一条 样本在不同 batch请求中 打分不一致 

14 . 线上效果优化一 • 用户行为时效性对齐 • 实时日志回流时延分布 .c n c ug .a i ww w 社 区 智能 人工 U G 现象：线下 AUC提升线A I C 上没效果？ 

15 . 线上效果优化二 1. Word2vec向量-待排序帖子基础特征 .c n c ug 2. Word2vec向量-用户行为表征 .a i 3. 模型结构解耦（离线训练，线上解耦） ww w 社 区 • 线上效果 智 能 模型 人工超时率 点击率 转化率 U G 0.409% 14.08% A GBDT I C 双通道(Transformer) 0.214% 5.18% 17.32% 4.03% 

16 .多通道深度兴趣模型的创新 .c n c ug • 序列化兴趣模型的优化思考 .a i ww w • 模型结构 社 区 智 能 •人 工 U G 离线/线上效果 A I C 

17 . 序列化兴趣模型的优化思考 .c n c ug • 结合58业务特点如何精准刻画用户兴趣？ .a i w w w 1. 业务特点行为低频/需求聚焦 社 2. 引入多种用户行为区 智 能 人 工 U G A I C https://mp.weixin.qq.com/s/wTwv-QmNSq2J4ia5SxB4GA 

18 .多通道模型-用户兴趣的精细刻画 用户兴趣抽取层 .c n c ug • .a i 点击行为通道(基础兴趣) ww w • 转化行为通道(核心兴趣) 社 区1.待排序帖子 智能 2.位置编码 搜索行为通道(表达兴趣) 工 • G 人 I CU A 场景适配层 • 定制化通道(定制兴趣) 

19 . 转化行为通道 .c n c ug .a i ww w 转化行为：收藏、电话、微聊、简历投递 社 区 特点: 智能 • 数据稀疏 人工 • 表达用户真实需求 U G 优化点：聚类ID A I C • 泛化能力与区分度上取得平衡 https://mp.weixin.qq.com/s/wTwv-QmNSq2J4ia5SxB4GA 

20 . 搜索行为通道 • 怎么填平query与帖子二者之间的异构表征差异，将其映射到统一 .c n 的表征空间中，从而保证可交叉性 c ug .a i ww w 社 区 智能 人工 U G A I C https://mp.weixin.qq.com/s/wTwv-QmNSq2J4ia5SxB4GA 

21 . 线上效果 .c n g 多通道 多通道 i c u .a 双通道 双通道 ww w 基线 基线 帖子点击率 社 区 曝光帖子转化率 智 能 • 人 工 整体效果：多通道深度兴趣模型在点击率，曝光转化率上取得进一步提升， U G • A C 相比基线（规则序）提升幅度20% I 通道效果：点击行为 > 搜索行为 > 转化行为 

22 .总结 .c n c ug • 离线、线上性能 .a i ww w 1. 样本负采样、特征处理前置、样本格式改造、数据并行 社 区 2. 多batch并行请求、兴趣数据batch内共享、模型解耦、数据压缩 智能 人工 U G A I C 

23 .总结 .c n c ug • 精细刻画用户兴趣 .a i ww 1. 点击行为通道：每个行为采用帖子ID与关键属性表征 w 区 2. 转化行为通道：根据行为稀疏程度，权衡特征的泛化能力与信号强 社 能 度，采用聚类ID和关键属性表征 智 工 3. 搜索行为通道：基于词向量将搜索词与帖子表征到统一语义空间 人 U G A I C 

24 .总结 .c n c ug • 注意的问题 .a i 1. 线上线下特征对齐 ww w 区 2. BatchNormalization、Dropout 社 3. Transformer在使用用户行为时一般加入待排序帖子和位置编码 能 工 智 G 人 I CU A 

25 .展望 .c n c ug • 精细刻画用户兴趣 .a i ww 1. 内容行为通道：建立用户浏览的文章内容与待排序帖子的关联，辅 助用户兴趣建模 w 社 区 • 多场景适配 智 能 人工 1. 定制化通道：根据业务特点进行定制化特征交叉，同一个模型可多 U G A I C 场景适配 

26 . 部门简介 .c n g c u .a i w 58同城TEG推荐技术团队，以提升连接效率/打磨关键技术能力/服务业务产品为团 ww 队愿景，在工程架构/模型算法/产品形态上持续迭代。目前，排序模型上，基于 社 区 DIEN/Transformer等构建了适配58业务特点的多通道深度模型架构，成为了主要场景 智 能 工 的主流线上模型，仍在进一步结合业务探索新模型架构强化学习/迁移学习等的落地应用， 人 G 期待和大家进一步探讨交流，欢迎感兴趣的同学加入，算法与工程同学都需要。 U A I C 简历可直接发送至罗景，邮箱：luojing04@58.com。 

27 . .c n c ug .a i ww w 社 区 谢谢！ 能 工 智 G 人 I CU A 

28 . .c n c ug .a i ww w 社 区 智能 人工 U G A I C