Big Data Platform in JD

1 .解读京东大数据平台 技术 与数据中台 王 哲涵 Copyright

2 .京东大数据数据平台 01

3 .京东大数据平台 京东大数据平台是京东大数据业务的基础服务平台，为京东大数据业务的实现提供一站式、自助式的大数据处理全流程解决方案。涵盖数据采集、存储、加工、分析、可视化、机器学习等专业化产品和服务，通过数据集中从而形成高效的数据开放，在保障数据安全的前提下，提供自助式的服务平台，大幅降低大数据消费门槛，帮助京东大数据业务快速落地，助力京东实践以数据为驱动的业务变革与发展 。 数据湖 计算存储分离 Hadoop 实现提供一站式、自助式的大数据处理全流程解决方案 Mysql 集群规模 服务器规模 4+ 万 台 存储能力 日增 19PB 计算能力 日运行 job 数 100 万 JD Big Data 850PB Total amount of data

4 .支撑京东全业务发展的大数据平台框架 HDFS （ Alluxio ） YARN 离线 实时 在线 存储 HBASE 数据 产品 京东分析师 商智 京东子午线 京东指南针 数据 计算 数据 接入 业务 应用 广告 推荐 供应链 物流 MR H ive Flink S parkstreaming JDQ （实时数据总线） 异构数据源（结构化、非结构化 ） RMDB C ache Redis JDBUS（数据直通车 ） K ylin Spark Xgboost P resto Cafe Tensorflow 数据质量 运营中心 元数据 运维监控 权限管理 流程中心 用户体系 M ars Storm JDBUS（数据直通车 ） 数据 分发 K8s

5 .京东大数据能力 为京东提供大数据基础服务、数据分析及展现、数据应用、人工智能等产品和服务。 大数据生态体系 京东云事业部、京东金融、新通路事业部、商城研发部平台生态部、 Y 事业部、搜索与大数据业务部、 3C 事业部、商城平台产品研发部、微信手 Q 业务部、商业提升事业部、成都研究院、集团大客户部等 ； 为京东 23 个一级部门提供数据服务 京东白条、京东智能、京东云、京东开普勒、商智、精准通、精准选品、数立方、 MKT 、京东掌柜宝、蜂巢系统、京盾系统、风控 RVC 等； 为京东 120 个业务系统提供数据支撑 为京东下游 40 个业务集市的 6000 多位数据分析人员、数据开发人员提供 360 度的数据产品。包括：数据接入产品、数据计算产品、数据调度产品、数据应用产品等； 为京东 6000 个数据分析人员提供数据产品

6 .平台架构和技术 02

7 .核心技术服务 实时计算服务 统一监控 Hbase 存储服务 Hadoop 技术服务 自动运维 Kubernetes 服务 JD BigData

8 .平台演化方向

9 .京东 - Alluxio 实践 03

10 .未来投入 Alluxio 方向 01 02 03 04 基于缓存技术，配合硬件资源提供核心计算的加速能力 核心计算加速 面向高可用 , 稳定的数据服务 , 实现服务实时与离线场景 . 完备高可用架构 百花齐放的数据协议，实现基于需求的数据访问，整合京东数据成为存储基石。 支持多种协议 异地数据管理 , 包含生命周期、数据治理，实现京东全产业链的数据 99% 的高内聚，提供高质量的数据。 异地数据缓存 JD BigData 01 02 03 04

11 .THANK YOU