拥抱云与开源，开启数据智能新时代

1 .AI CU G人 w ww 工 . 智 ai 能 cu 堵俊平 技 g. 术 cn 社 腾讯 专家研究员 开源联盟主席 区 

2 . 区 术 cn 社 云计算、大数据与人工智能趋势 技 g. 能 cu 智 ai 开源与技术生态 工 . ww G人 w 腾讯AI开源进行时 CU AI 1 

3 . 云计算在全球范围推动企业的数字化转型 区 术 cn 社 技 g. 云计算的基本特性 自服务 提升业务敏捷度 能 cu 多租户 成本优化 （CAPEX和 智 ai 弹性伸缩 OPEX） 免运维 工 . 提升运营效率 高可用 ww 更多创新机会 按使用付费 G人 w 软件应用 和服务 数据存储 和处理 CU 到2021年，云将承载80%应用的开发和部署 AI AI Pioneer 2 

4 . 数字世界的基石：云计算、大数据与人工智能的飞轮效应 区 术 cn 社 技 g. 能 cu 数据 智 ai 工 . 人工 计算 场景 ww 智能 G人 w 算法 6年算力要求增长300,000倍 从Cloud First到Cloud Only CU AI AI Pioneer 3 

5 . 云计算、大数据、人工智能： 消费互联网和产业互联网的共同引擎 区 术 cn 社 技 g. 能 cu 消费互联网 更美好 的生活 智 ai 个人C端 工 . ww 互联网+ 数据 智能+ 更高速的 企业B端 G人 w 产业互联网 企业发展 从信息科技（IT）到数据科技 （DT） CU AI AI Pioneer 4 

6 . 人工智能落地产业互联网的挑战 区 术 cn 社 技 g. 应用多样 应用多样性 能 cu 性 • 人工智能要与企业生产应用系统深度融合 智 ai 基础设施灵活性 • AI运算对基础设施利用的效率要求快速提升 工 . 基础设施灵活 数据质量和规模 数据质量和规模 ww 性 • 数据类型差异大，数据标注工作强度大、重复工作 多 G人 w 算法与模型调优 • 模型场景需求差异大，定制化建模成本高 • 模型部署后需持续迭代才能保证优异的效果 智能设备多样性 算法与模 智能设备多样 • 设备选型与点位与算法的适配效果息息相关 型 性 CU AI AI Pioneer 5 

7 . 腾讯20年技术积累的持续输出 区 术 cn 社 技 g. 更大 更强 更优 更好 能 cu + + + 数据 计算 算法 应用场景 智 ai 超过2000PB 单集群1.2万台 聚集业界精英 多个行业 服务器 多年优化 数百个场景积累 工 . ww 多场景覆盖 研发和运维工具积累 AI LAB 腾讯应用 多样化数据类型 海量数据处理与治理 优图实验室 泛互联网 G人 w 微信智聆 Robotic X 政务 企业 金融 零售 文旅 … CU AI AI Pioneer 6 

8 . 腾讯云大数据和人工智能产品矩阵 区 术 cn 社 技 g. 行业 零售 泛互联网 泛政府 企业 金融 业务 能 cu 解决 管理者 方案 智 ai 应 AI图像 AI语音 NLP 大数据 图 人 智 知 NL 用 应用服务 实人 内容 像 像 语音 语音 机器 能 识 P 推荐 企业 工 . 服 实名 审核 识 智 识别 合成 翻译 客 图 工 预测 画像 应用 别 能 服 谱 具 ww 务 开发者 产 应用平台 腾讯人工智能服务平台 腾讯智能对话平台 腾讯数据资产管理平台 品 基 础 服 AI引擎能力 AI基础能力 CVG人 w ASR TI 机器学习 TTS NLP 数据 务 科学家 产 大数据 TBDS EMR ES SPARKLING DATA LAKE 品 基础能力 CU AI AI Pioneer 7 

9 . 区 术 cn 社 云计算、大数据与人工智能趋势 技 g. 能 cu 智 ai 开源与技术生态 工 . ww G人 w 腾讯AI开源进行时 CU AI 8 

10 .AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 开源的“本质” 社 区 开放式协同创新，创造无法估量的价值 

11 .云 + 开源：开放生态打造事实标准，帮助新技术快速规模化落地 区 术 cn 社 技 g. 新兴技术产业挑战 开源方案 能 cu 智 ai 场景限制以及市场 应用场景丰富、用户 工 . 碎片化 接受意愿高 ww G人 w 标准难统一 天然是标准 CU 端到端难以集成 统一接口 易于集 AI 成 

12 .开源 + 云：加速开源技术的商业化落地 区 术 cn 社 技 g. 传统开源软件的挑战 云上的开源方案 能 cu 智 ai 赢利模式不清晰 赢利模式清晰，按需付费 工 . ww 限制较多 G人 w 更为自由 推广部署困难 分钟级部署试用 CU AI 

13 .开源成功的要素：技术、社区、应用、生态与创新 创新 区 术 cn 社 技 g. 能 cu 智 ai 工 . 技术 应用 ww G人 w 社区 生态 CU AI 

14 .腾讯云使用的开源生态技术 区 术 cn 社 Tensor 技 g. Café Flow Spark PyTorch 能 cu Flink HBase 智 ai PostgreSQL ES Hadoop Kafka 工 . Kubernetes ww Spring Cloud G人 w MySQL MariaDB OpenStack Open Docker Linux KVM JDK CU AI 

15 .大数据与AI 开源生态圈从分离到融合 区 大数据技术生态圈 AI技术生态圈 术 cn 社 SQL 流计算 TensorFlow 技 g. 计算 NoSQL 存储 ●Hive ●Flink 监控 Caffe/Caffe2 ●MapReduce ●HBase PyTorch ●SparkSQL ●Spark MXNet 能 cu ●HDFS ●Spark ●Ambari Pandas ●Impala Streaming ●Cassan ●Ozone ●Tez ●Presto ●Kafka dra ●Eagle Horovod Keras 智 ai ●Hawq ●Storm Distributed TensorFlow xgboost 工 . H2O ww LIBLINEAR G人 w CU AI 

16 . 区 术 cn 社 云计算、大数据与人工智能趋势 技 g. 能 cu 智 ai 开源与技术生态 工 . ww G人 w 腾讯AI开源进行时 CU AI 15 

17 .腾讯开源Roadmap 区 部门小团队作 跨部门大团 内部贡献者为主， 内外部贡献 社区治理，第三 术 cn 战 队协同合作 外部贡献者为辅 相对平衡 方基金会运营 社 技 g. 关键节点 社区运营 能 cu 3 社区开放治理 智 ai 代码开放 2 外部代码开放 • 大规模技术推广与应用 ü 技术普及 工 . • 构建开发者生态体系 ü 生态完善 ww 演进路径 • 优化设计与代码结构 ü 技术优化 1 内部开源协同 • 拓展落地场景 ü 场景完备 • 社区领袖与领导力培养 ü 社区影响 • 全社会研发资源的优化配置 ü 社会分工 • 拉通组织，推动协作 • 优化内部资源配置 G人 w • 利用外部贡献者资源 ü 资源整合 ü 推动协作 • 构建技术影响力 ü 调配资源 • 集中优势，寻求技术突破ü 突破技术 ü 增强影响 IaaS 容器与云原生 数据库 大数据与AI 中间件 IOT/边缘计算 小程序生态 CU 重点领域 AI 发展方向 从封闭孤立，推进到协同开放，直至社区开放治理 

18 .AI 腾讯参与国际开源社区 CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社 区 

19 .开源社区贡献 区 术 cn • Linux • Apache 社 技 g. ü Linux 基金会、LF Deep Learning白金会员（2019） ü Apache基金会白金会员（2018起） 能 cu ü CNCF黄金会员（2019） ü 主导发布Hadoop 2.8.4、2.8.5，Spark 2.3.2 ü TARS和TSeer捐赠Linux启动孵化（2018） ü 多个项目核心贡献者，包括Hadoop 、Spark 、Flink、 智 ai ü Angel捐赠LF Deep Learning启动孵化（2019） HBase、Hive、MXNet、Parquet等 ü 腾讯云向KVM 内核贡献了46个patch 工 . ww • OpenStack • MariaDB ü OpenStack基金会的白金会员（2018） ü OpenStack Super User（2017） G人 w ü MariaDB基金会白金会员（2018） ü 腾讯游戏 TenDB多年积累四个核心特性，已经合入到MariaDB主 线版本 CU AI 

20 .Angel的由来 区 Spark由于其架构原因, 所有参数存于Driver, 不能满足广告推荐业务需要; 术 cn Tensorflow等深度学习平台针对稠密数据优化, 对稀疏数据支持不够好; 社 深度学习平台主要集中在视觉, 听觉与语言处理等领域. 对推荐领域重视不够. 技 g. 能 cu 深度学习平台 推荐领域算法 a) 不支持稀疏变量(但支持稀疏Tensor) TensorFlow Deep & Wide 智 ai b) 稀疏Tensor只支持少量的运算, 如加法, 乘法 Torch/PyTorch 无(torchvision.models) c) 工 . 用索引数组与值数组存储矩阵, 计算性能不高 d) Café 无(Café Model Zoo) ww 运算接口不友好 MXNet 无(Gluon Model Zoo) G人 w Angel的目标: CU 建设一个能够支持稀疏高维度（万亿+）模型训练的分布式机器学习平台. AI 在保证通用性的同时, 为推荐领域做优化, 在深度学习方向弥补其它平台的不足. 

21 .Angel的定位 • 大规模机器学习平台: 区 术 cn • 定位：高可靠且高效率的Parameter server 社 技 g. • 特长: 稀疏数据与大模型 • 适合领域: 推荐, 图学习 (GE / GNN) 能 cu 智 ai Sparse Data 工 . ww EcoSystem Model Size G人 w Deep… Preformance CU Angel Spark TensorFlow PyTorch AI 

22 .Angel 3.0 特性 区 术 cn 社 • 全栈式机器学习平台 技 g. • 训练 能 cu • 增强型图计算 • 特征工程 Feature Model 智 ai • 模型服务 engineering training • AutoML Auto FE Computing Graph 工 . Spark On Angel ww • PS 生态 Full Stack Angel • Spark On Angel • PS增强 G人 w of ML PS PyTorch On Angel • PyTorch On Angel Mode Tuning & Trillion dimension model CU serving evaluation • 云原生 YARN -> K8s Serving AutoML PS Ecosystem AI • Yarn • Kubernetes 

23 .Angel架构 • Angel 数学库 区 • Angel PS: 模型参数管理 术 cn 社 • ML Engine: PyTorch, Angel mlcore (Angel Computation graph, Angel Tree Core) 技 g. • 分布式执行引擎:原生Angel, Spark On Angel , PyTorch On Angel 能 cu • 公共服务组件：AutoML, Serving 智 ai AutoML (AFE/HPT) Serving 工 . ww Angel Spark PyTorch Angel PS G人 w Native on Angel Angel mlcore On Angel PyTorch Matrix Graph Angel Math Library CU AI existing enhanced new outter 

24 .AI CU G人 w ww 工 . 拥抱云与开源, 智 ai 能 cu 开启数据智能新时代 技 g. 术 cn 社 区 

25 . AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社 区 24