申请试用
HOT
登录
注册
 
深度学习在58租房搜索排序中的实践-崔凌云
0 点赞
0 收藏
0下载
AICUG人工智能社区
/
发布于
/
153
人观看

嘉宾介绍:

崔凌云,专注于58同城垂类搜索排序的优化,主要负责58各业务场景下排序策略的落地与迭代,08年硕士毕业于哈尔滨工业大学。

内容摘要:

本次分享主要以58租房搜索排序为背景,介绍深度学习在排序阶段的探索和实践,主要包括:单目标优化、多目标优化、DeepFM、DIN、DIEN、ESMM等深度学习模型的优化思路及落地,以及最终取得的效果。

展开查看详情

1. .c n c ug .a i ww w 社 区 智能 工 【第十九期】搜索推荐深度学习专题 人 U G A I C

2. .c n c u g 深度学习在58租房搜索排序中的实践 . a i w ww 社 区 智能 人工 U G I C A 分享嘉宾:崔凌云-算法架构师

3.分享大纲 .c n c ug ⚫ 背景介绍 .a i ww ⚫ 深度学习实践之路 w 社 区 ⚫ 总结与思考 智能 ⚫ 后续工作 人 工 U G A I C

4. .c n c ug .a i ww w 背景介绍 社 区 智能 人工 U G A I C

5.背景介绍-业务场景 .c n c ug .a i ww w 社 区搜索排序优化目标: 智能 帖子点击量 人工 CTR = 帖子展现量 U G A I C CTCVR = 连接量 帖子展现量

6.背景介绍-搜索排序的发展历史 .c n LR/FM/ c g u .a i Xgboost 等 w 引入深度学习模型 2015年 ww 社 区 智 能 2018年 时间序+业务 人工 引入机器学习模型 DeepFM/DIN 策略 U G /DIEN/Bert等 A I C

7. 背景介绍-搜索排序核心架构 n 线下 c 线上 g . u 日志 历史log 实时log i c 列表页请求 日志解析 模型库 w .a w ABtest w LR 帖子维度 用户维度 上下文 区 XGB 模型加载 特征 社 文档特征 历史个性化 维度 平台 能 FM 反馈特征 实时个性化 智 DeepFM 召回 样本关联 人工 DIN 粗排 U G 精排 C DIEN I 线下 特征 模型 A 采样 训练 处理 训练 BERT 上线 query及相关数据 打分验证工具 业务策略&去重打散 验证 效果报表

8. 背景介绍- 基础特征 分类 具体特征 用户id .c n c ug i 用户访问时间 .a 用户维度 用户搜索query,关键词等 ww 用户行为偏好统计,如对价格、面积偏好 w 区 帖子id 基 础 能 社 帖子点击或转化行为 智 帖子位置,包括全局位置、当前页面等 特 征 帖子维度 人工 房源具体信息,包括价格、面积等 G 房源所在经纬度、城市、区域等 I CU 用户搜索位置与房源的距离 A 与用户行为统计的匹配信息,包括偏好值、是否用户最偏好等 统计的历史及实时CTR、CVR信息 上下文 曝光时间及分段信息、曝光与刷新时间差、有效曝光标识等 类目id、页面刷新id

9.背景介绍-传统机器学习的挑战 .c n c ug .a 特征开发:人力成本高,难以利用多模态信息 i ww w 区 训练目标:仅支持单目标,难以实现多目标 社 难点 智能 工 用户兴趣:无法模拟兴趣的形成过程 人 U G特征交叉:难以学习多特征交叉信息 A I C

10. .c n c ug .a i ww w 深度学习实践之路社 区 智能 人工 U G A I C

11.深度学习实践之路-优化路径 .c n c u g .a i DeepFM DIN ww DIEN w 社 区 优化路径 智能 人工 U G单目标 传统多目标 ESMM A I C

12.深度学习实践之路-DeepFM .c n c ug .a i ww w 社 区 智能 人工 U G DeepFM的特点: A I C • FM和Deep共享embedding • 同时学习低维和高维交叉信息 • 不需要进行额外的特征工程

13. 深度学习实践之路-DIN(Deep Interest Network) DIN模型的创新点: .c n • 引入用户历史行为序列 c ug • Attention机制 .a i ww w 社 区 智能 人工 U G A I C

14.深度学习实践之路-DIEN DIEN模型的创新点: .c n c ug • 兴趣提取层(辅助损失函数) .a i • 兴趣发展层(+Attention) ww w 社 区 智能 人工 U G A I C Deep Interest Evolution Network

15.深度学习实践之路-多目标优化 先 点击 再 连接 .c n c ug .a i ww w 社 区 智能 人工 U G 电话 A I C 微聊 。。。

16. 深度学习实践之路-多目标优化 1、传统的多目标模型结构: 2、ESMM: .c n c u g .a i CTCVR task ww w 区 用户的转化行为必须依赖于点击 能 社 工 智 G 人 I CU A 𝐿𝑜𝑠𝑠 = 𝑤𝑐𝑡𝑟 ∙ 𝐿𝑜𝑠𝑠𝑐𝑡𝑟 + 𝑤ct𝑐𝑣𝑟 ∙ 𝐿𝑜𝑠𝑠ct𝑐𝑣𝑟 𝐿 𝜃𝑐𝑣𝑟 , 𝜃𝑐𝑡𝑟 = 𝐿𝑜𝑠𝑠𝑐𝑡𝑟 + 𝐿𝑜𝑠𝑠ct𝑐𝑣𝑟 𝑁 𝑁 = ෍ 𝑙 𝑦𝑖 , 𝑓 𝑥𝑖 ; 𝜃𝑐𝑡𝑟 + ෍𝑙(𝑦𝑖 &𝑧𝑖 , 𝑓 𝑥𝑖 ; 𝜃𝑐𝑡𝑟 ∗ 𝑓(𝑥𝑖 ; 𝜃𝑐𝑣𝑟 ሻሻ 𝑖=1 𝑖=1

17. 深度学习实践之路-上线效果 多目标优化的效果明显优于单目标的效果 .c n DIEN在多目标优化方面的效果更明显 c ug DIEN+ESMM的多目标方式要比传统的多目标方式更适合租房的场景 .a i ww w 上线效果(VS XGBoost) 模型 优化目标 区 CTR CTCVR CTR 能 社 -0.16% 1.71% 智 DeepFM CTR:CTCVR=1:1 1.55% 6.55% 人工 CTR:CTCVR=1:10 0.33% 11.71% DIN U G CTR 3.28% 5.59% A I DIEN C CTR:CTCVR=1:10 CTR 2.30% 3.71% 10.65% 4.99% CTR:CTCVR=1:10 3.22% 14.79% DIEN+ESMM CTR:CTCVR=1:150 +0.64%(vs传统多目标) +3.25%(vs传统多目标)

18. 深度学习实践之路-其他离线实验 1、加入用户聚类信息: 2、建模位置特征: .c n c ug .a i ww w 社 区 智能 人工 GAUC(VS DIEN) G 模型 CTR CTCVR I CU DIEN+Pos +0.0096 +0.0075 A DIEN+用户聚类 +0.0053 +0.0037

19. 深度学习实践之路-工程方面的工作 线下流程加入用户行为序列: .c n c ug .a i ww w 社 区 智能 序列长度分布 人工 U G A I C 80%的用户一周内的序列长度为小于50 最终序列长度设置为50

20. 深度学习实践之路-工程优化 1、Tensorflow 组件使用优化 .c n c u g . a i (1)Batch Normalization:需要手动保存参数moving_mean、moving_variance 供预测时( is_traning =0)使用 w ww 社 区 理论上: 智 能 基于经验的方法:当前 μ工 G 人 n = 0.1 * μ + 0.9 * μ n n-1 I CU A (2)Dice激活函数:是添加了BN的prelu,也存在上述同样的问题 (3)Dropout:预测时需要手动关闭dropout

21. 深度学习实践之路-工程优化 2、针对用户序列长度不等问题的优化 .c n c ug i 按最长序列进行构建 .a 加入用户序列的mask信息 短序列进行了0值填充 编码后的特征直接进行concat ww 利用mash对编码后的特征做了截取 w 社 区 智能 人工 U G A I C GAUC 绝对值提升1.37%

22. 深度学习实践之路-工程优化 3、数据读取提速 .c n c u g . a i 采用dataset进行数据读取,dataset可以并行处理数据,将耗时的预处理部分 w 放在多个CPU进行处理 w w 使用同batch size、一天的训练数据(约2000万)进行离线实验 区 离线GPU利用率由10%提升至50%,模型训练时间由7小时降低到1小时 4、预测优化-序列化数据格式转换 能社 工 SCF内部使用的RPC框架,提供跨平台的二 智 进制序列化解决方案 人 将List 转换为IC U G float[] A 基础数据类型数组,如int[]或 使用简单的数据传输格式,SCF序列化效率 有比较好的提升

23. 深度学习实践之路-工程优化 5、预测优化-用户维度的特征序列简化 .c n c ug 一次用户请求 .a i 用户维度的特征相同 ww w 社 区 序列化时只保留一 个数据的信息 智能 人工 U G 数据预处理时再进行 A I batch数据的填充C 优化后SCF序列化的数据量减小了90%,数据组装时将batch大小由10提升到20,线 上超时率由3-5%降到0.5-0.7%,模型访问平均耗时降低5ms

24.思考与总结 学习高维交叉特征 .c n c ug 模型结构优化 用户兴趣优化 .a i ww w 区 多目标优化 社 智能 数据读取速度 工 性能优化 加速线下模型迭代 G 人 降低线上延时 I CU 序列化阶段优化 A 了解原理 组件优化 区分训练和预测

25. 展望:后续工作 .c n 1. DIEN Attention 模块加入用户转化行为序列进行模型优化(进行中) c u g . a i w 2. 借助深度学习将图像信息引入模型优化(进行中) ww 社 区 3. 借助深度学习引入语义特征(进行中) 智能 人 工 U G A I 4. 引入自动学习 C

26. .c n c ug .a i ww w 谢谢 社 区 智能 人工 U G A I C

27. .c n c ug .a i ww w 社 区 智能 人工 U G A I C

0 点赞
0 收藏
0下载