大数据在CSDN 的应用实践

大数据在CSDN 的应用实践
展开查看详情

1.20 18 中 国 大 数 据 技 郝钰 术 大 会 ( BD 大数据在CSDN的应用实践 TC )

2.20 18 中 国 大 数 用户 据 技 术 业务 大 会 ( 数据 BD TC )

3.数据 ) TC BD 论坛——百万级数据量 ( 下载——百万级数据量 会 大 博客——千万级数据量 术 技 据 580万微信公众号用户 数 大 2500万注册独立用户 国 中 3亿+用户行为信息 18 20

4. 业务 20 18 中 PV 国 大 数 据 UV 技 术 大 会 ( BD TC 留存 )

5. 用户需求 20 18 中 国 大 数 据 用户 技 术 大 会 ( BD 找到问题答案 TC )

6.推荐系统——相关推荐 ) 1. 相关推荐简介 TC BD • 基于内容(CSDN博客、下载、论坛、 ( 会 学院等)做关联匹配,为用户推荐相 大 关的周边内容,使用户能更好的了解 术 相关内容或知识 技 据 • 应用在博客、下载、论坛、学院等详 数 情页的下方或右侧 大 国 中 18 20

7. 分发量 20 18 中 国 大 业务 数 据 技 量 术 分发 用户 大 会 ( BD TC 数据 )

8.推荐系统——相关推荐 ) 2. 相关推荐召回策略 TC BD ✓ 搜索词关联推荐 ( 会 a) 内容页对应的搜索词列表 大 b) 搜索词对应内容页列表 术 技 c) 内容页根据搜索词列表再去关 据 联对应的内容页,根据内容页 数 的访问时间和访问次数进行访 大 进行时间衰减策略计算 国 中 18 20

9.推荐系统——相关推荐 ) 3. 相关推荐召回策略 TC BD ✓ 百度搜索结果推荐 ( 会 a) 根据内容页的搜索词去百度进行查询保存 大 b) 取内容页搜索词获取百度查询结果进行推荐 术 技 ✓ ES查询推荐 据 数 a) 根据内容标题和搜索词查询ES获取相关性内容推荐 大 国 中 18 20

10.推荐系统——相关推荐 ) 4. 相关推荐算法策略 TC BD ✓ 位置系数 ( 会 计算每条推荐内容所在位置的点击数与曝光数,将点击曲线拟合到 大 曝光曲线,得到每个位置的位置系数,最终计算得分推荐 术 技 ✓ 不同策略初始交叉排序 据 根据不同策略的数据表现,将高效策略排于高位,并进行策略间交 数 叉排序 大 国 中 ✓ 点击反馈 18 根据点击率进行排序 20

11.推荐系统——相关推荐 ) 5. 相关推荐优化策略 TC BD ✓ 增加标题飘红词 ( 会 大 ✓ 压缩页面高度,提高曝光量 术 技 ✓ 区块点击 据 数 大 ✓ ES查询词中英文词进行权重增加查询 国 中 18 20

12.推荐系统-A/B测试 ) TC BD ( 会 大 策略A 术 技 据 VS. 数 大 策略B 国 中 18 20

13.20 18 中 6. 数据流程 推荐系统——相关推荐 国 大 数 据 技 术 大 会 ( BD TC )

14.推荐系统——分发能力 ) 分发能力成倍提升 TC BD ( 会 大 术 技 100% 据 数 大 国 2018/3/5 2018/4/5 2018/5/5 2018/6/5 2018/7/5 2018/8/5 2018/9/5 2018/10/5 2018/11/5 中 18 20

15.推荐系统-效果 ) TC BD ( 会 相关推荐 大 术 技 据 数 访问深度 浏览量 大 跳出率下降10% 日均提升百万级 国 中 18 20

16.推荐系统——个性化推荐 ) 1. 个性化推荐简介 TC BD • 基于用户浏览记录,为用户推 ( 荐感兴趣内容。 会 大 术 • 应用在博客、公司网站首页, 技 通过信息feed流形式呈现。 据 数 大 国 中 18 20

17.用户标签 ) 2. 根据用户最近兴趣标签,短期兴趣标签和长期兴趣标签 TC BD ( 长期标 会 签 大 术 用户 技 行为 据 时间 数 大 国 中 短期标 签 18 20

18.推荐系统——个性化推荐 ) 3. 个性化推荐数据源 TC BD ✓ 根据用户最近兴趣标签,短期兴趣标签和长期兴趣标签,从ES搜 ( 索引擎进行数据召回 会 大 ✓ 最近博客热数据召回 术 ✓ 百度搜索数据 技 ✓ 基于用户CF推荐数据召回 据 数 ✓ 热门分类补充数据 大 ✓ 关注博主 国 中 18 20

19.推荐系统-个性化推荐 ) TC 4. 内容池质量过滤 BD ( • 质量分(中、英文字数,代码段数量,图片数量) 会 大 • 时效性(2011年~至今文章) 术 技 • 原创性(仅展示原创文章)据 数 大 • 标题长度 国 中 • 标题去敏感词 18 20

20.推荐系统——个性化推荐 ) 5. 个性化推荐算法 TC BD ( 会 大 术 技 据 数 大 国 中 18 20

21.20 18 中 国 大 数 据 技 术 大 会 感谢聆听! ( BD TC )