1.AutoML与推荐系统 AutoML and Recommender Systems 猎聘大数据研究院 单艺 

2. 议题 1 2 3 4 PART ONE PART TWO PART THREE PART FOUR 缘起 超参数优化 自动化建模 试验和展望 

3.PART ONE 缘起 

4. 预测建模过程 1 目标定义 5 模型应用 2 数据收集 4 模型优化 3 特征设计 4 算法选择 

5.Modeling Is Hard 

6.做一个数据科学家是什么体验？ 

7.PART TWO 超参数优化 

8. 模型/算法超参数 Item CF 相似度算法、相似度因子权重… Matrix Factorization 隐因子数、正则化权重… Neural Networks 层数、每层神经元数、dropout比例 GBDT 提升次数、树的最大深度、学习率、样本采样率、特征采样率… Random Forest 树的数量、树的最大深度、样本采样率、特征采样率… Logistic Regression 正则化权重、正则化方法 Gradient Descent 学习率、批次大小、迭代次数… 

9. 超参数的影响 Neural Networks with Different Learning Rates on MINST 

10. 超参数的影响 Neural Networks with Different Learning Rates on MINST 

11. 超参数优化问题 • 目标：找到在验证数据集上效果最好的超参数 • 挑战： • 参数空间巨大 • 效用函数是一个黑盒子 • 训练和评估成本高 • 问题： • 如何聪明地搜索最佳超参数 

12.手工调参 

13.寻找最佳超参数 

14.自动超参数优化的主要方法 • 贝叶斯优化： • 高斯过程回归 • SMAC • TPE • 谱模型 • Bandit算法 • Hyperband算法 

15. 贝叶斯优化 1. 假设目标函数符合某个先验分布 2. 初始随机试验 3. 根据观测结果得到后验分布 4. 利用后验分布选取下一个试验点 • 使用获取函数决定新的试验点 

16. 高斯过程回归 A Gaussian process is a collection of random variables, any subset of which is jointly normally distributed. Gaussian process regression: assume form of mean and covariance among data functional form 

17.高斯过程回归 

18.用GPR优化超参数 

19. 贝叶斯优化软件包 1. Spearmint 2. Yelp MOE -> SigOpt 3. Hyperopt 4. Scikit-optimize 5. SMAC 

20. PART THREE 自动化预测建模 

21. 预测建模流程 1 目标定义 5 模型应用 2 数据收集 • 特征组合 • 超参数优化 4 模型优化 3 特征设计 • 特征选择 • 模型集成 • 降维 4 算法选择 

22. 通用自动化预测建模系统 训练数据 特征组合 Truncated SVD 特征打分和筛选 （规则、树） 验证数据 } Model 1 聚类 { Model N 模型 

23.Network Architecture Search 

24.PART FOUR 试验和展望 

25.试验对比 

26.算法吃人？ 

27.人机协作 

28.THANK YOU 猎聘大数据研究院