从零开始构建企业级推荐系统

  1. 你的产品需要推荐系统吗? (why)
  2. 让谁来搭建推荐系统? (who)
  3. 在产品的什么阶段搭建推荐系统? (when)
  4. 搭建什么样的推荐系统? (what、where)
  5. 怎么搭建推荐系统? (how)
  6. 构建推荐系统的资源投⼊ (how much)
  7. 对推荐系统的价值预期 (how feel)
  8. ⼏个具体实⽤的建议
展开查看详情

1.从零开始构建企业级推荐系统 gongyouliu

2. ⾃自我介绍 ⾃自我介绍 09年年毕业,从事⼤大数据与AI近⼗十年年,有9年年推荐系统算法研究及⼯工程实践经验 业余喜欢读书、暴暴⾛走、写技术和深度思考类⽂文章,维护“⼤大数据与⼈人⼯工智能”和“gongyouliu”两个公众号 公司及⼯工作介绍 电视猫MoreTV是⼀一款基于智能电视以及互联⽹网机顶盒的视频应⽤用 ⼤大数据基础架构、数仓、BI、搜索、推荐、NLP等 电视猫从12年年开始做推荐系统到现在差不不多8年年

3. Agenda • 1. 你的产品需要推荐系统吗? (why) • 2. 让谁来搭建推荐系统? (who) • 3. 在产品的什什么阶段搭建推荐系统? (when) • 4. 搭建什什么样的推荐系统? (what、where) • 5. 怎么搭建推荐系统? (how) • 6. 构建推荐系统的资源投⼊入 (how much) • 7. 对推荐系统的价值预期 (how feel) • 8. ⼏几个具体实⽤用的建议

4.1. 你的产品需要推荐系统吗?(why)

5. 需要满⾜足两个条件 产品提供的信息或者服务⾜足够多 ⾯面向C端⽤用户提供海海量量信息服务 ⽤用户规模最够⼤大 推荐系统是未来产品的标配,只要满⾜足上述条件,建议搭建推荐系统

6.下⾯面这些类型的产品都是可以做推荐的

7.2. 让谁来搭建推荐系统?(who)

8.可通过三种⽅方式搭建推荐系统 更更好掌控,更更贴近业务 ⾃自建推荐系统 ⼈人才少,固定成本⾼高 资产轻,不不需要⾃自⼰己建团队 通过外包构建推荐系统 维护成本⾼高,迭代麻烦 可以快速构建 购买推荐系统云服务 通⽤用⽅方案,⽆无法很好匹配公司业务 建议:如果推荐作为产品核⼼心功能,⾃自⼰己搭建,否则购买云服务

9.3. 在产品的什什么阶段搭建推荐系统?(when)

10. 在早期阶段做推荐 在产品的起步阶段、成⻓长阶段搭建推荐系统 充分利利⽤用AI红利利,发挥推荐的价值 试错成本更更低,船⼩小好调头 更更好巩固推荐系统在产品中的地位

11.4. 搭建什什么样的推荐系统?(what、where)

12.可搭建三类推荐系统 放在详情⻚页中 相似推荐 详情⻚页是⽤用户接触最频繁的位置 “快消类”产品,构建信息流推荐 个性化推荐 放到⾸首⻚页,更更多的⽤用户触点 可以快速构建 排⾏行行榜推荐 通⽤用⽅方案,⽆无法很好匹配公司业务

13.

14.5. 怎么搭建推荐系统?(how)

15. 关键点 快:尽快上线 简单:模型简单、架构简单

16. 产品起步阶段搭建推荐系统 TF-IDF算法 新闻资讯类产品 相似推荐:可以计算⽂文本相似度 个性推荐:平均向量量、类item-based⽅方法、⽂文本聚类(KNN)等三类⽅方法 ⻓长视频(PGC):基于标签推荐(向量量化、倒排索引)、结构化metadata 视频类产品 短视频(UGC):基于标签推荐(向量量化、倒排索引) 相似推荐:在同⼀一类⽬目下计算相似 电商类产品 个性推荐:内容倒排索引推荐

17.

18. 成⻓长阶段产品搭建推荐系统 算法:协同过滤(item-based)、矩阵分解 架构:采⽤用Spark等成熟的分布式平台,⼀一站式解决数据分析&推荐

19.6. 构建推荐系统的资源投⼊入?(how much)

20. 需要两类资源投⼊入 ⼈人⼒力力投⼊入:资源复⽤用、“赶鸭⼦子上架”、外部招聘有经验的 计算资源投⼊入:购买⼤大数据相关云服务,不不要⾃自⼰己维护存储和计算平台 尽量量节省资源,关注ROI

21.7. 对推荐系统的价值预期?(how feel)

22.4个维度评估推荐的价值 增⻓长体验:⽤用户留留存、活跃、停留留时⻓长 商业价值:节省⼈人⼒力力成本、促进变现 效率提升:提升内容分发效率、提升运营效率 ⽣生态繁荣:⽤用户、平台、内容提供⽅方达到稳定平衡

23.8. ⼏几个具体实⽤用建议

24. 建议 简单算法、快速上线 打造业务闭环(有指标体系、有AB测试平台) 推荐专⼈人负责制 以业务⽬目标为导向⽽而⾮非技术导向

25.Thanks for your attention

刘强,硕士学历,09年毕业于中国科学技术大学数学系。有10年大数据与推荐系统相关经验,精通大数据与推荐系统。负责上海千杉网络技术发展有限公司大数据与人工智能团队。业余时间维护“大数据与人工智能”和"gongyouliu"两个公众号,发表大数据、推荐系统、个人成长感悟相关文章。