深度学习技术在搜狗搜索广告中的深化应用

01 搜索广告背景知识
02 典型任务:自动化创意
03 典型任务:点击率预估
04 若干思考

展开查看详情

1.深度学习新技术在搜狗搜索广告中的深化应用 搜狗搜索广告应用策略研究组 舒鹏 2018年12月

2. 01 搜索广告背景知识 02 典型任务:自动化创意 目录 CONTENTS 03 典型任务:点击率预估 04 若干思考

3.搜索广告背景知识 信息需求 用户查询 结果展示 点击及后续行为 自动化 点击日志 查询理解 广告召回 点击率预估 排序计价 展示日志 广告库 日志收集

4.搜索广告背景知识 竞价博弈机制 竞价博弈机制 客户竞价行为研究、点击效果评价以及客户转化预估、博弈机制 设计 典型任务: 宏观 指导 自动化创意 检索和推荐体系 CTR预估 搜索广告实际竞价系统的算法问题:广告召回、点击率预 检索&推荐体系 估、相关性(BadCase过滤)、自动化创意、排序、计费 自然语言理解层次 基础 基础研究工作:通过自然语言处理、数据挖掘、机器 学习方法让机器理解查询、用户、广告。 自然语言理解

5.典型任务:自动化创意

6. 自动化创意 流程 结果 创意匹配 创意展示 • 创意挖掘 • 选择最佳创 • 创意生成 • 文本相关性 意 • 组装渲染 • 图文匹配 创意来源 样式优选

7. 自动化创意:创意来源 创意来源 创意挖掘 创意生成 用户行为分析 CVAE 落地页分析 GAN 购买行为分析 seq2seq 创意生成:CVAE

8. 自动化创意:创意来源-挖掘 用户行为分析:Session切分 论文提出一种基于LSTM和 attention机制的session切分方 法,可以更好的区分用户查询序 列中的间隔,以更准确地识别用 户查询意图,对于广告召回、相 关性等任务均有一定帮助。 Cong Du, Peng Shu and Yong Li, CA-LSTM: Search Task Identification with Context Attention based LSTM. SIGIR-18(CCF A), Short Paper, 2018. Sogou Inc

9.自动化创意:文本相关性计算 1、字符串匹配 • 经典的IR算法,如,基于广告库的字符串赋权 2、语义匹配 • Topic model,如,PLSA • 统计机器翻译,如,query rewrite,同义模板归一化 • 实体识别 3、意图匹配 • 大规模数据挖掘,如,二部图挖掘 • 推荐技术,如,SVD++ 4、深度学习 • seq2seq • 神经机器翻译

10. 自动化创意:文本相关性计算 无需分词:基于字符粒度表达的问答系统设计 L.X Meng, Y.Li, M.Y Liu, P Shu. Skipping Word: A Character-Sequential Representation based Framework for Question Answering. CIKM2016, pages 1869-1872, 2016. Sogou Inc

11.自动化创意:图文匹配 ResNet-50层 CNN CNN LSTM LSTM LSTM Cosine-Loss 中长款牛仔外套 中长款 牛仔 外套 CNN-LSTM Encoder

12.关键点:数据 数据规模 数据质量 积极寻找当前场景下的关 数据规模 数据质量 探索基于大规模无标签数 联数据源; 据的有效算法,降低算法 对噪音的敏感度 积累更长时间数据并有效 利用; 适当补充标注数据,解 决疑难杂症

13.典型任务:CTR预估

14.CTR预估流程 Data Feature Model Online 原始数据 领域特征 模型训练 线上Server 查询特征 特征抽取 查询日志 线性模型 广告特征 CTR预估 点击日志 非线性模型 匹配特征 Rank

15.搜狗搜索广告CTR预估模型的演化历程 线性模型 非线性模型 级联融合模型 深度融合模型 特征工程 GBDT LR+GBDT Wide & Deep FTRL DNN LR+DNN NFM FM

16.级联融合模型 PV OneHot LR 特征 Train LR Model OFFLINE Sample Feature Click Maker Ctr特征/模 DNN DNN 型中间结果 Train Model Session Float DNN Model CTR Table Feature One Case ALL 特 ONLINE Bidding Retriever One 征 Final Server Server Hot CTR 池 特征 LR OneHot Model Feature ModelFeature的引入:LR+DNN级联融合

17.深度融合模型:Wide & Deep … 1、改造MxNet,以支持Sparse Tensor … … 2、深度定制Embedding层,提高训练速度 … … … 3、将PS server中的参数更新由CPU移至GPU,减少通信开销 4、使用InfiniBand通信(56Gb/s),满足分布式训练时大规模 … … 参数更新的需要 … 5、使用多维Embedding,优化算法选择和参数调优 Deep 6、采用流式加载训练数据的方式,解决使用多天数据训练时 内存不足的问题 Wide Embedding

18.模型效果评估 Survival Bias 特征覆盖率 AUC:ROC曲线下方的 面积 上线收益 是否一致?

19.现状和计划 现状 已经实现Wide & Deep 模型的全流量上线,收益较好 … 受限于线上计算资源,模型复杂度有限 … … Sum-pooling … … Inner-product … … … … 计划 set set 线上服务拆分,采用低功耗GPU加速 Wide Width=1 Width>1 支撑更宽、更深、更复杂的网络结构 Deep 尝试NFM等模型,提升特征自动组合能力

20.若干思考

21.若干思考 1 2 复杂模型 高质量数据 更宽、更深、更复杂 自动交叉 VS 原始数据去噪 多源数据接入 强化学习 GAN自动生成 所处理任务的理论上限是多少? 暴力计算是否可行?

22.THANK YOU! Q&A