HBase在苏宁的应用和实践11

1 . HBase在苏宁的应用和实践 苏宁易购大数据中心高级技术经理 张立明 中国 HBase 技术社区网站：http://hbase.group 

2 . 目录 / Contents 01 使用现状 02 服务化平台 03 功能增强及性能优化 04 运维监控 中国 HBase 技术社区网站：http://hbase.group 

3 . 使用现状 01 中国 HBase 技术社区网站：http://hbase.group 

4 . 苏宁大数据平台架构 数据云（DataCloud） 服务层 大数据管理 数据开发平 华佗 元数据 服务化平台 机器学习 OLAP 流计算平台 平台 台IDE Spark Hive Sqoop GraphX Mllib ES Flink SQL Storm Kafka MapReduce Spark Core Kylin Libra 计算层 Zookeeper Spark YARN Druid Streaming HBase Alluxio Flume Cassandra 存储层 HDFS Web日志 app日志 爬虫 合作数据 企业经营数据 …… 数据源层 中国 HBase 技术社区网站：http://hbase.group 

5 . HBase发展历程 2018 智能运维， Phoenix升级到4.14 2017 HBase从0.98版本升 级到1.2.6版本，限 流，监控，服务化 2016 Phoenix上线第一个 业务，HBase部署从 2015 公共集群到独立集 群 HBase Cluster HA 2014 HBase上线第一个业 务 中国 HBase 技术社区网站：http://hbase.group 

6 . HBase在苏宁的应用场景 风控 推荐 广告 监控 物流 中国 HBase 技术社区网站：http://hbase.group 

7 . 推荐应用 中国 HBase 技术社区网站：http://hbase.group 

8 . 集群规模 qps 平均400W，峰值2500W 1200+ table 18个集群 500+ 服务器 中国 HBase 技术社区网站：http://hbase.group 

9 . 应用方式 离线分析 bulkLoad snapshot SPARK 数据云 MapReduce HBase STORM put Get/Scan Aplication FLINK 实时读写 中国 HBase 技术社区网站：http://hbase.group 

10 . 集群部署 离线集群 在线集群 推荐集群 HBase HBase HBase … HDFS HDFS HDFS MapReduce Spark YARN HBase 离线集群 HA集群 物流集群 YARN HBase HBase HDFS HDFS HDFS HDFS 优点：资源共享，资源可以充分利用 优点：相互影响降到最低，实时的低延迟得到保障 缺点：资源竞争，影响实时性 缺点：需要更多的资源 中国 HBase 技术社区网站：http://hbase.group 

11 . 服务化平台 02 中国 HBase 技术社区网站：http://hbase.group 

12 . 服务化平台目标 接入流程标准化 集群管理统一化 高效的运维管理 可视化操作 中国 HBase 技术社区网站：http://hbase.group 

13 . 服务化平台 资源 元数据 集群 流程 服务端 Replication 客户端 Snapshot 监 HBase 告警 控 服务化 能 力 自动合并分裂 用户日报 批量删除 数据本地化 重新分区 中国 HBase 技术社区网站：http://hbase.group 

14 . 服务化平台 使用概览 建表申请流程 中国 HBase 技术社区网站：http://hbase.group 

15 . 功能增强及性能优化 03 中国 HBase 技术社区网站：http://hbase.group 

16 . 为什么要高可用  大查询导致集群负载高，响应延迟增大  资源争抢导致响应延迟波动大  硬件问题，导致宕机，region恢复过程中不可用  磁盘损坏，读数据超时 对一些要求比较高的业务比如金融，这种抖动和不可用是不能被接受的 HBase的replication支持服务端的数据同步，达到数据的最终一致性 中国 HBase 技术社区网站：http://hbase.group 

17 . HA Client watch HA Client Zookeeper Monitor w/r w/r Check health Hedged read Check health replication 主集群 备集群 中国 HBase 技术社区网站：http://hbase.group 

18 . 流控 瞬时的高流量会产生资源争抢，影响其他用户， 甚至产生FullGc，为保障集群的稳定性，需要 对流量进行限制 Hbase自带流控功能，是针对RegionServer上的 限流，表的流量上限和受region分布影响 中国 HBase 技术社区网站：http://hbase.group 

19 . 全局流控 HBase user: u1, u2... Zookeeper Watch流 RegionServer1 控通知 type: write, read limit: req/s 流控通知 RegionServer2 Cluster级别，任意维 度组合限流 TCMaster RegionServer3 收集流量 数据 中国 HBase 技术社区网站：http://hbase.group 

20 . 性能优化 业务优化 合理的Rowkey设计 避免Region热点 避免不合理的scan 配置优化 批量读写 GC优化，使用G1GC 读写队列分离 使用堆外内存 运维优化 数据本地化率 合理的major_compact 表的split和merge 中国 HBase 技术社区网站：http://hbase.group 

21 . 运维监控 04 中国 HBase 技术社区网站：http://hbase.group 

22 . 监控运维目标 及时发现问题并告警 快速的定位问题 风险预警 自动化处理 中国 HBase 技术社区网站：http://hbase.group 

23 . 运维监控  主机监控：Zabbix，nmon (cpu，disk，network …)  进程监控：进程端口，JVM  服务可用性监控：hbck一致性检查  服务指标监控：HBase metric（numCallGeneralQueue， totalCallTime … ）  日志监控：Exception，ResponseTooSlow … 中国 HBase 技术社区网站：http://hbase.group 

24 . Metric指标采集 采集HBase集群 的metric指标， 进行聚合和差值 Cluster1 计算 Cluster2 采集程序 Druid Cluster3 中国 HBase 技术社区网站：http://hbase.group 

25 . 日志监控 快速发现异常日志  日志异常标记  异常趋势分析  有影响异常标记告警 中国 HBase 技术社区网站：http://hbase.group 

26 . 表风险预警 表风险预警：数据热点，访问热点， region不合理，数据本地化率低 超大value的定期巡检 中国 HBase 技术社区网站：http://hbase.group 

27 . 自动化运维 Region自动分裂和合并，数据本地化处理 RegionServer负载过高，region自动迁移 根据表的特性，自定义major_compact周期 中国 HBase 技术社区网站：http://hbase.group 

28 . 未来规划 05 中国 HBase 技术社区网站：http://hbase.group 

29 . 未来规划  HBase2.X上线  OpenTSDB的使用 中国 HBase 技术社区网站：http://hbase.group