Big Data Platform in JD

展开查看详情

1.解读京东大数据平台 技术 与数据中台 王 哲涵 Copyright

2.京东大数据数据平台 01

3.京东大数据平台 京东大数据平台是京东大数据业务的基础服务平台,为京东大数据业务的实现提供一站式、自助式的大数据处理全流程解决方案。涵盖数据采集、存储、加工、分析、可视化、机器学习等专业化产品和服务,通过数据集中从而形成高效的数据开放,在保障数据安全的前提下,提供自助式的服务平台,大幅降低大数据消费门槛,帮助京东大数据业务快速落地,助力京东实践以数据为驱动的业务变革与发展 。 数据湖 计算存储分离 Hadoop 实现提供一站式、自助式的大数据处理全流程解决方案 Mysql 集群规模 服务器规模 4+ 万 台 存储能力 日增 19PB 计算能力 日运行 job 数 100 万 JD Big Data 850PB Total amount of data

4.支撑京东全业务发展的大数据平台框架 HDFS ( Alluxio ) YARN 离线 实时 在线 存储 HBASE 数据 产品 京东分析师 商智 京东子午线 京东指南针 数据 计算 数据 接入 业务 应用 广告 推荐 供应链 物流 MR H ive Flink S parkstreaming JDQ (实时数据总线) 异构数据源(结构化、非结构化 ) RMDB C ache Redis JDBUS(数据直通车 ) K ylin Spark Xgboost P resto Cafe Tensorflow 数据质量 运营中心 元数据 运维监控 权限管理 流程中心 用户体系 M ars Storm JDBUS(数据直通车 ) 数据 分发 K8s

5.京东大数据能力 为京东提供大数据基础服务、数据分析及展现、数据应用、人工智能等产品和服务。 大数据生态体系 京东云事业部、京东金融、新通路事业部、商城研发部平台生态部、 Y 事业部、搜索与大数据业务部、 3C 事业部、商城平台产品研发部、微信手 Q 业务部、商业提升事业部、成都研究院、集团大客户部等 ; 为京东 23 个一级部门提供数据服务 京东白条、京东智能、京东云、京东开普勒、商智、精准通、精准选品、数立方、 MKT 、京东掌柜宝、蜂巢系统、京盾系统、风控 RVC 等; 为京东 120 个业务系统提供数据支撑 为京东下游 40 个业务集市的 6000 多位数据分析人员、数据开发人员提供 360 度的数据产品。包括:数据接入产品、数据计算产品、数据调度产品、数据应用产品等; 为京东 6000 个数据分析人员提供数据产品

6.平台架构和技术 02

7.核心技术服务 实时计算服务 统一监控 Hbase 存储服务 Hadoop 技术服务 自动运维 Kubernetes 服务 JD BigData

8.平台演化方向

9.京东 - Alluxio 实践 03

10.未来投入 Alluxio 方向 01 02 03 04 基于缓存技术,配合硬件资源提供核心计算的加速能力 核心计算加速 面向高可用 , 稳定的数据服务 , 实现服务实时与离线场景 . 完备高可用架构 百花齐放的数据协议,实现基于需求的数据访问,整合京东数据成为存储基石。 支持多种协议 异地数据管理 , 包含生命周期、数据治理,实现京东全产业链的数据 99% 的高内聚,提供高质量的数据。 异地数据缓存 JD BigData 01 02 03 04

11.THANK YOU

Alluxio,世界上第一个将分离的异构存储整合到统一平台,并提供近乎内存访问速度的中间件,广泛用于企业和混合云的商业数据分析加速。
关注他