新浪微博 刘博 - 《深度学习在微博信息流排序的应用》

1 .深度学习在微博Feed流应用实践 刘博 新浪微博机器学习研发部关系流算法负责人 

2 .目录 1 微博Feed流排序场景介绍 2 常规CTR方法排序 3 深度学习应用与实践 

3 .微博Feed流产品介绍—排序场景 Ø 微博—社交媒体领跑者 • DAU：1.72亿，MAU：3.92亿 • 关注流基于关系链接用户与内容 Ø 信息获取方式 • 主动获取（关注） • 被动获取（推荐） Ø 内容形式 • 博文/文章/图片/视频/问答/话题/… 

4 .微博Feed流特点介绍—排序原因 Ø 产品特点 • 传播性强 • 互动性好 Ø 存在问题 • 信息过载 • 信噪比低 Ø 排序目标 • 提高用户的信息消费效率 • 提升用户黏性 

5 .技术挑战 Ø 指标量化 • 用户体验 • 内容形式多样、非结构化 Ø 规模大 • 用户和Feed内容数量大 • 内容更新快，实时性要求高 • 海量计算、超大规模模型优化 

6 .目录 1 微博Feed流排序场景介绍 2 常规CTR方法排序 3 深度学习应用与实践 

7 .CTR概要介绍 Ø CTR任务特点 数据 • 大量离散特征、高维稀疏 • 特征关联性挖掘 特征 效果 Ø CTR预估常用算法 • LR 目标 • GBDT 模型 • FM CTR一般流程 

8 .业务目标与模型选择 Ø 模型选择 • 线性模型LR+特征工程 • 排序基于pointwise的 learning to rank Ø 模型优化目标 • 互动（转发/评论/赞） 点击（图片/视频/文章/链接等） 互动模型 点击模型 阅读模型 阅读时长 • 多目标预估 Score = 𝑚)*+,-./+ ∗ 𝑖𝑐𝑡𝑟 + 𝑚/6)/7 ∗ 𝑐𝑐𝑡𝑟 + 𝑚-,.8 ∗ 𝑟𝑐𝑡𝑟 

9 .特征工程 皮尔逊相关系数特征评估 Ø 特征工程非常重要 • categorical特征 • one-hot 表示 • 假设检验方式 • conitnues特征 • 离散化/归一化处理 标签匹配度特征相关系数特征评估 • 相关系数评估 • 特征组合 • 手动组合——专家知识 • GBDT+互信息——有效挖掘 非线性特征及组合 

10 .样本采集 Ø 存在问题 • 头部效应 • 正负样本比例严重失衡 • 实时反馈类收集与在线存在差异性 Ø 解决方案 • 对头部曝光进行降采样，长尾曝光上采样 • 负样本进行下采样 • 后端样本预采样 

11 .模型评估 Ø 离线评估 • AUC / wAUC • 离线评估与线上效果正相关？ Ø 在线评估 • A/B test测试 A 小流量-实验组 • 分目标人群测试：地域、活跃度… B 数据对比分析 小流量-对照组 

12 .算法架构 业务排序 CTR预估 权值映射 排序策略 其他策略 模型服务 特征工程 模型训练 模型优化 特征存储 特征查询 模型评估 模型预测 实时数据 内容特征 用户特征 用户特征 自解释特征 发博流 内容标签 内容质量 自然属性 账号属性 协同特征 实时互动率 互动流 视觉标签 topic 社交关系 亲密度 app互动率 用户互动率 曝光流 类型属性 关键词 兴趣标签 能力标签 标签匹配度 组合特征 微博内容 互动行为 点击行为 阅读行为 用户信息 关注数据 打码日志 

13 .目录 1 微博Feed流排序场景介绍 2 常规CTR方法排序 3 深度学习应用与实践 

14 .为什么选择深度学习 Ø 线性CTR模型 • 优势：简单高效、可解释性强 • 局限性：特征工程繁琐、无法表达高维抽象特征 Ø 深度学习模型（DNN based model） • 优势： 表达能力强 泛化能力强 网络结构灵活 

15 .深度学习应用实践 —— wide & deep Logistic loss Ø Wide & deep 网络架构 • Deep—泛化能力 ReLU(64) Cross product transformation • Wide—记忆能力 ReLU(128) ReLU(256) normalize one-hot encode embedding one-hot encode Continueous Categorical featues features Relation Contextual User Content features features features features 

16 .深度学习应用实践 —— wide & deep Ø 新增特征 • Contextual featues: 用户最 近的平均阅读时长、用户最近 的互动微博 Ø Deep部分依然需要特征工程 • Wide输入 • conitnues特征离散化 + 手动交叉特征 • Deep输入 • conitnues特征离散化 + 非连续特征embedding 

17 .深度学习应用实践 —— wide & deep Ø 样本采样 • Negative sampling：依据微博的 平均阅读时间进行划分，将用户曝 光但未阅读的微博作为负样本 Ø 网络复杂度 • 网络复杂度过高易导致过拟合 • 网络深度达到一定数值AUC反而 小幅降低 

18 .深度学习应用实践 —— DeepFM Logistic loss Ø DeepFM模型架构 Deep Output FM Output • End2End框架 ReLU(64) • Deep part — 泛化力 FM layer • FM—低阶特征组合 ReLU(128) ReLU(256) Ø 优势 • Deep和FM共享 normalize one-hot encode embedding one-hot encode embedding层 Continueous Categorical featues features Relation Contextual User Content features features features features 

19 .总结展望 Ø 模型算法是手段 • 业务和数据决定模型算法的应用场景 • 模型算法殊途同归 • 计算力和算法架构是保障 

20 .总结展望 Ø 未来工作 • 多模态—更好的对非结构化内容进行表征 • 用户行为序列embedding • 更多的融合网络结构适用于CTR预估场景 

21 .