机器学习平台PAI

机器学习平台PAI介绍。叔宝是哈工大硕士,2010年加入阿里巴巴,从业视觉领域算法,现任计算平台机器学习PAI算法解决方案负责人。

展开查看详情

1.AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社 区 机器学习 PAI

2.产品定位 一站式机器学习平台 区 术 cn 社 技 g. 数据预处理、特征工程、模型训练、模型服务 能 cu 智 ai 工 . ww G人 w 机器学习PAAS服务,提供的是底层模型训练和服务能力 CU AI

3.目标用户 区 终端客户需求 术 cn 社 技 g. 业务解决方案 = 数据 + 场景 + 算法(PAI) 能 cu 智 ai 工 . ww G人 w 终端客户算法工程师 or 合作伙伴构建解决方案 CU AI PAI的目标使用用户

4.客户痛点 区 资源成本:支持包月/按量付费,GPU资源分时服用,一站式建模评估 术 cn 社 技 g. 能 cu 性能优化:模型量化压缩,分布式通信优化 智 ai 工 . ww 超大规模:模型训练支持千亿样本,百亿特征 G人 w 运维简单:自动部署+监控,弹性资源伸缩 CU AI

5.AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社 区 PAI整体介绍

6. 整体产品架构 AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社 区

7.PAI 产品体验定位 更 简单的实验构建 区 术 cn 社 技 g. 能 cu 智 ai 高效的模型训练 工 . 更 ww G人 w CU AI 更方便的部署管理

8.PAI-Studio核心功能 • 模型管控:核心能力,包括模型训练、模型评 估、模型探查、模型类型转换、导入导出、模 区 型服务一键部署 术 cn 社 • 实验管理:算法流程的组织形式,方便沉淀和 技 g. 能 cu 协同 智 ai • 算法运行:单节点运行、实验流程运行、定时 工 . ww 调度运行,基于大规模异构资源的分布式计算 G人 w 能力 • 新手模板:内置适用于商品推荐、文本分析、 CU 金融风控、天气预测等场景的一系列实验模板 AI • 数据加工:通过内置组件、SQL可实现,同时 与DataWorks深度集成,解决机器学习上下游 的数据和服务问题

9.PAI-Studio优势 — 一站式可视化实验环境 区 术 cn 社 技 g. 数 能 cu 据 智 ai 工 . ww 数据预处理 G人 w 特征工程 CU AI 机器学习模型训练 模型评估 学习 离线/在线服务

10.PAI-Studio优势—上百种自研算法组件 海量算法库 区 ü 分类算法 ü 回归算法 ü 文本分析 ü 关系网络 ü 时间序列 术 cn 社 技 g. Ø 逻辑回归二分类 Ø 线性回归 Ø 文本摘要 Ø K-CORE ü 大规模PS算法 能 cu 智 ai Ø 线性支持向量机 Ø GBDT回归 Ø 关键字提取 Ø PageRank ü 深度学习 工 . ww Ø GBDT 二分类 ü 聚类算法 Ø 词频统计 G人 w Ø 树深度 ü … Ø 随机森林 Ø K均值聚类 Ø TF-IDF CU Ø 单源最短路径 Ø 朴素贝叶斯 AI Ø PLDA Ø Word2Vec Ø 标签传播聚类 Ø K近邻 Ø Doc2Vec Ø 最大联通子图 Ø …. Ø …

11.PAI-Studio优势—AutoML模型训练辅助引擎 高效机器学习模型训练过程中,AutoML帮您节省60%的调参工作量。 ü Grid Search 区 ü Random Search 术 cn 社 技 g. ü Evolutionary 能 cu 智 ai Optimizer 工 . ww ü 自动传递最优模型完成 G人 w 整个实验流程 CU AI ü 多个模型对比结果查看

12.AI CU G人 w ww 工 . 智 ai 能 cu 技 g. PAI-Studio优势-超大规模样本+特征 术 cn 社 区

13. 区 术 cn 社 技 g. 能 cu 智 ai 工 . ww G人 w 深度学习-人工智能主赛道 CU AI • 图像、安全、文本、语音… • TensorFlow/Caffe/PyTorch/…

14.深度优化的PAI-Tensorflow 性能优化 1. 计算图优化、编译优化 区 2. Inference优化、模型压缩 术 cn 社 3. GPU资源复用 技 g. 4. 混合并行分布式优化 能 cu 5. GRPC++底层通信协议优化 智 ai 工 . 6. 大规模稀疏数据分布式并发优化 ww (支持上千节点) G人 w CU Ø 某客户,图像分类服务QPS处理能力 AI Ø 某客户色情图片识别场景 从220提升到380,提升70%以上 Ø 单机2卡用288个小时,16机32 卡用时20小时,模型训练时间缩 短至1/14

15.支持异构集群 支持CPU,GPU,FPGA,以及未来阿里平头哥的NPU 区 MR MPI PS Graph TensorFlow Caffe MXNet Flink 术 cn 社 技 g. 能 cu 智 ai CPU GPU FPGA …… 工 . ww G人 w CU FPGA案例 AI 城市大脑基于摄像头的检测识别 CTR(点击率预估Wide&deep模型) TTS(语音合成 wavenet模型),FPGA可提升性能100x左右

16.PAI-DSW交互式编程环境 在一站式可视化机器学习的基础上,PAI针对深度学习的特点,推出Data Science Workshop 轻量环境GPU资源直连 区 术 cn 社 交互式云端代码开发 技 g. 能 cu 智 ai 自由安装各种框架算法包 工 . ww 适合图像、语音等深度学习应用领域 G人 w CU AI

17. PAI-EAS模型在线服务引擎 机器学习模型应用最后一公里问题,PAI-EAS快速搞定模型服务 区 • 与PAI-Studio、PAI-DSW无缝 术 cn 社 对接 技 g. • 本地可用客户端 能 cu • 深度学习/传统机器学习模型 智 ai 工 . • 弹性扩缩容能力 ww • 蓝绿部署 G人 w • 版本控制 • 智能运维监控 CU AI PAI-EAS解决全部模型在线预测 痛点,一键部署,支撑阿里内部 双十一业务峰值40W QPS的模型 调用请求

18.案例分享-新浪微博 (超大规模FM算法) 区 术 cn 社 技 g. 能 cu 微博是国内领先的社交媒体,微博大数据平台团队面临 智 ai 大规模矩阵计算能力的问题。PAI团队向微博提供支持百 工 . ww 亿特征维度的FM算法,业务方反馈满足业务预期,微博 G人 w 基于Spark自研的FM算法无法支持如此大规模矩阵的计 CU 算,已经暂停投入。目前PAI作为微博大数据平台的一部 AI 分,支撑微博业务。未来计划在FM流式算法方面继续展 开合作。 用户抓手:超大规模数据下的算法计算能力 微博大数据平台架构图

19.案例分享-椰子传媒 视频广告公司,期望快速提升点击率,从而提升广告收入,期望直接使用阿里云算法平台 1.PS超大规模参数 2.AutoML自动调参 3.EAS在线服务 4.PAI上丰富的算法组件 区 术 cn 社 技 g. 广告业务端 PAI AutoML引擎 能 cu 智 ai VSP Engine 模型在线服务 DMP模块 工 . (业务标签数据) ww DSP Engine G人 w 模型自动调参 CU AI SLS日志服务 MaxCompute数仓 OSS数据备份 技术负责人表示:“通过使用PAI AutoML调参服务,提升模型精度40%。自动模型在线服务预计支撑业 务量千万次调用/日,节省人力20%~30%。最重要的是,节省机器学习服务平台构建时间半年。”

20.内容媒体行业 1、资讯爆炸时代, 高效快速的大规模数 据处理能力是刚需 区 术 cn 社 技 g. 能 cu 2、用户画像,智能 智 ai 推荐,广告预测业务 工 . ww 场景迫切需要引入算 G人 w 法能力 CU 3、AI中台与大数据 AI 中台紧密配合,最大 程度减少用户大数据 处理链路

21.相关资料 区 • PAI产品地址:https://data.aliyun.com/product/learn 术 cn 社 技 g. • PAI产品文档:https://help.aliyun.com/product/30347.html 能 cu 智 ai • PAI产品价格:https://www.aliyun.com/price/product 工 . ww • OCR产品地址:https://data.aliyun.com/product/ocr G人 w 阿里云机器学习 PAI 官网 CU AI