HBase在车联网中的实践与应用

1 . HBase在车联网中的应用与实践 分享人： 巨鹏 中国 HBase 技术社区网站：http://hbase.group 

2 . 目录 / Contents 01 G7介绍&业务特性 02 选型与应用 03 稳定性建设 04 平台建设 05 未来规划 中国 HBase 技术社区网站：http://hbase.group 

3 . 01 G7介绍&业务特性 中国 HBase 技术社区网站：http://hbase.group 

4 . 1 G7介绍 公司布局 本部在北京，上海和广州成立方案解决中心，成 都成立研发中心 业务类型 公司是一家智慧物联网公司，客户类型覆盖 业务规模 快递快运、电商、危化品运输、冷链物流、 目前G7平台上服务客户数量超过5万家，连 汽车物流、大宗运输、城市配送、货主等物 接车辆总数超过70万辆，每天原始数据在3T 流全领域 以上。 中国 HBase 技术社区网站：http://hbase.group 

5 . 2 业务特性-数据流 硬 件 自研设备 其它设备 层  硬件层采集数据 网  网络层过滤数据 络 网关 防火墙 SLB 层  解析层解析数据 解 析 808协议 MQTT协议 String协议 层  缓冲层暂存数据 缓 冲 RocketMQ Kafka  加工层处理数据 层 加  存储层存储数据 工 数据计算中心 数据库入库机 ETL引擎 层  分析层分析数据 存 储 HBase HDFS RDS DRDS Hive 层  应用层展示数据 分 析 数据挖掘 指标分析 决策支持 统计报表 机器学习 层 应 用 里程 轨迹 油耗 事件 更多 层 中国 HBase 技术社区网站：http://hbase.group 

6 . 02 选型与应用 中国 HBase 技术社区网站：http://hbase.group 

7 . 1 存储选型 业务数据特性 HBase MongoDB Cassandra 数据增长快 扩展容易 扩展容易 逐步可扩展 稳定性要求高 可用性高 可用性高 可用性高 实时性要求高 低延时 低延时 低延时/范围查询 弱 数据量大 海量数据 中等数据 海量数据 过期数据低频访 数据删除简单 数据删除较简单 数据删除简单 问 数据结构简单 单维度查询 全文索引 辅助索引 中国 HBase 技术社区网站：http://hbase.group 

8 . 2 HBase接入-SDK  基本功能&ORM  日志上报  双活切换 中国 HBase 技术社区网站：http://hbase.group 

9 . 3 里程计算设计  实时计算 ETL实时采集 Spark小时 计算/天计算  小时计算 RocketMQ HDFS Kafka ETL实时采集  天计算 storm实时计算 HBase 中国 HBase 技术社区网站：http://hbase.group 

10 . 3 Rowkey设计 Reverse(imei)+00000+string(date) 满足查询条件 防止热数据 性能以及成本 里程表每天的写入量：50亿+，读取量100亿+ 中国 HBase 技术社区网站：http://hbase.group 

11 . 4 列设计  满足需求  提高性能  节约成本 所以我们最终是以业务读取数据的需求分组，将相同 需求的数据放在同一个列或者列蔟里面，以json的形 式存放，减少元数据。 中国 HBase 技术社区网站：http://hbase.group 

12 . 5 集群设计  正确初始化  有瓶颈再谈优化 协 议 Flume ETL消费  用数据验证结果 Kafka集群 HBase集群 解  性价比衡量 析 端  业务关联 平台系统 • 数据量大 报文系统  调整读写缓存内存分配比例 • 配置低  调整读写队列 • 写入性能要求高，查询较少  关掉wal log 中国 HBase 技术社区网站：http://hbase.group 

13 . 7 数据分层  热数据（在线查询） 热数据 HBase 公有云 数 据 SDK 实  温数据（近线查询） 时 同 温数据 HBase 步 Spark  冷数据（离线查询） 冷数据 HDFS Hive Hive MR 私有云 中国 HBase 技术社区网站：http://hbase.group 

14 . 03 稳定性建设 中国 HBase 技术社区网站：http://hbase.group 

15 . 1 遇到的问题  HBase总是会定时的出现请 求超时，几分钟后，又自动 恢复有自动恢复  HBase Request有时候突 然很低，大量请求都超时  长时间的RIT，无法提供服 务 中国 HBase 技术社区网站：http://hbase.group 

16 . 2 基础监控 Metrics监控 组 监 控 中国 HBase 技术社区网站：http://hbase.group 

17 . 3 表监控  集群吞吐监控  表吞吐监控  连接监控 中国 HBase 技术社区网站：http://hbase.group 

18 . 4 填过的坑 协处 导数 限流 理器 据 • FixedIntervalRate • count • Sqoop Limiter • Sum • Mapreduce • AverageIntervalR • Avg • ……. ateLimiter • ….. 中国 HBase 技术社区网站：http://hbase.group 

19 . 5 攻防演练 环境隔离 故障库 定期演练 文档总结 中国 HBase 技术社区网站：http://hbase.group 

20 . 6 双活 双活的实现 master Kafka HBase  数据实时同步  Sdk自动切换 slave Kafka HBase  配置中心管理 中国 HBase 技术社区网站：http://hbase.group 

21 . 04 平台建设 中国 HBase 技术社区网站：http://hbase.group 

22 . 1 概览  数据查询  数据修改  表管理  监控  报表  报警  限流  双活切换 中国 HBase 技术社区网站：http://hbase.group 

23 . 05 未来规划 中国 HBase 技术社区网站：http://hbase.group 

24 . 1 未来规划  HBase2.0  phoenix的深度配合使用  HBase的统一写入  形成HBase的存储体系 中国 HBase 技术社区网站：http://hbase.group 

25 . We are Hiring! 成都研发中心 THANK YOU jupeng@g7.com.cn G7公众号 微信二维码 中国 HBase 技术社区网站：http://hbase.group