21天搭建推荐系统

阿里云推荐引擎介绍
第一阶段:基本功能

  • Day1. 环境准备
  • Day2-3. 数据准备
  • Day4-5. 基本配置和离线计算
  • Day6-8. 推荐API集成
    第二阶段:高级功能
  • Day9-11. 效果报表
  • Day12-15. 优化
  • Day16-20. 实时修正
  • Day21. 监控和告警
展开查看详情

1.郑重(卢梭),阿里云技术专家 21天搭建推荐系统

2. 阿里云推荐引擎介绍 第一阶段:基本功能 Day1. 环境准备 Day2-3. 数据准备 目录 Day4-5. 基本配置和离线计算 Day6-8. 推荐API集成 content 第二阶段:高级功能 Day9-11. 效果报表 Day12-15. 优化 Day16-20. 实时修正 Day21. 监控和告警 Future Work Conclusion

3. 阿里云推荐引擎介绍 推荐系统一般包括展现子系统、日 志子系统和算法子系统三个部分 算法 日志 展现 阿里云推荐引擎(RecEng)是推荐 系统的一部分,主要实现的是算法子 系统,需要和其他子系统配合工作 http://data.aliyun.com/product/re

4. 目录 第一阶段:基本功能 content

5. Day1. 环境准备 推荐服务器 终端载体 大数据开发 Data IDE 管理 日志 展现 推荐引擎 RecEng

6.Day2-3. 数据准备 格式规范

7. Day2-3. 数据准备 数据上传 推荐服务器 大数据计算服务 利用Tunnel命令上传 1. 集成在ODPS console中 2. tunnel upload log.txt test_project.test_table/p1="b1" 定制DataX上传 1. 下载DataX 2. 配置DataX的配置文件 3. python datax.py ./mysql2odps.json

8. Day2-3. 数据准备 格式转换 大数据开发 Data IDE 大数据计算服务

9. Day4-5. 基本配置和离线计算 业务 场景 算法流程 …… 首页 详情页 搜索 O2O

10.

11.Day4-5. 基本配置和离线计算

12.Day4-5. 基本配置和离线计算

13.Day4-5. 基本配置和离线计算

14.Day4-5. 基本配置和离线计算

15. Day6-8. 推荐API集成 推荐API 推荐管理 统计分析 离线数据上传 数据预处理API 离线计算API 数据管理 实时日志 推荐服务器

16. 目录 第二阶段:高级功能 content

17. Day9-11. 效果报表 Trace ID的生命周期 4.推荐API 1.推荐API 5.点击 Trace id 1 3.点击 6.点击 2.展示 推荐列表1

18. Day9-11. 效果报表 效果计算 效果算法:以行 效果指标:明确 效果报表:根据 为类型为参数, 行为类型、时间 算好的效果指标, 根据行为数据计 跨度、统计口径 配置显示图表后 算指标的算法 的效果算法实例。 的可视化展示 选择效果指标后 即生成计算任务

19. Day9-11. 效果报表 API集成 推荐API 推荐管理 统计分析 离线数据上传 数据预处理API 离线计算API 效果计算API 数据管理 实时日志 推荐服务器

20. Day12-15. 优化 A/B Testing 算法流程1 指标1 A/B Testing 算法流程2 指标2

21. Day12-15. 优化 算法流程 基本推荐流程 排序建模流程 客户接入数据 客户效果数据 推荐请求API OTS物品实时 文本特征提取 计算用户/物 修正表 模型样本 /向量化 品评分 相关性计算+ OTS离线计算 推荐处理线程 近邻计算 结果表 OTS用户实时 用户/物品的原 用户/物品评分 基于业务目标 修正表 始特征 矩阵 的监督学习 API返回 用户的候选推 针对业务目标 用户/物品 用户/物品的耦 荐集/物品的相 的Ranking 关系计算 合特征 似物品集 Model OTS离线计算 结果表 离线算法流程 在线算法流程

22. Day12-15. 优化 自定义算法 自定义离线算法 1 算法开发 单元测试 算法注册 输入数据 算法 输出数据 流程测试 自定义在线算法 2 算法参数 算法开发 单元测试 算法注册 流程测试

23. Day16-20. 实时修正 整体流程 推荐API 数据修正 数据修正线程 OTS物品实时 API (data_mod_path) 修正表 OTS离线计算 推荐线程 结果表 用户信息修正线程 OTS用户实时 实时日志 (user_mod_path) 修正表 API返回 实时修正

24. Day16-20. 实时修正 API集成 推荐API 推荐管理 统计分析 离线数据上传 数据预处理API 离线计算API 效果计算API 数据更新API 数据管理 实时日志 实时数据上传API 推荐服务器

25. Day21. 监控和告警 开通云监控 质检算法:用于检查每一 张表是否合格,系统提供 了一些默认的质检算法 配置自定义监控项 (按照要求配置), 添加监控人员 可得到该监控项的云 配置报警组 监控code 计算任务监控:当计算出 错或超时未结束,触发告 警 把云监控code注册到 设置报警规则 推荐引擎

26. Future Work 简化基于规则的推荐 更好的集成业务和运营积累的知识 提供更多的算法 实现更多的推荐算法 针对行业的算法模板 推荐算法大赛 计划在下半年启动,敬请关注!

27. Conclusion 目标:让客户专注于推荐业务,不再被系统问题困扰 方法:通用的推荐引擎,集中实现与业务无关的内容 效果:推荐是个系统工程,算法很重要,但不是全部