申请试用
HOT
登录
注册
 
HBase Practice in China Mobile

HBase Practice in China Mobile

小米云技术
/
发布于
/
4443
人观看

来自中国移动苏州研发中心 HBase 负责人陈叶超介绍了 HBase 在中国移动的实践
中国移动目前大概有6000个物理节点,100多个集群,几十PB数据,单集群最大600多个节点,单表最大1.6PB,最大3000万并发访问,存储的数据采用较高压缩比进行压缩,减少存储空间。

HBase 在中国移动的几个应用场景:

(1)北京移动的流量清单,比如手机使用流量,这个在掌上营业厅是可以查到的。

(2)DPI数据,主要是信令相关的,有一些网络优化的设计。

(3)监控和日志,包括小图片、用户标签、爬虫和市场营销等。

中国移动在实践中通过数据抽样解决 BulkLoad 中数据倾斜问题。数据压缩在Flush 和 BulkLoad 阶段都不开启,只在 compaction 阶段使用,提高读写性能。混合使用 SSD/HDD 磁盘,compaction 后数据存储在 HDD 磁盘。对于更好的使用 SSD,中国移动做了如下工作:

  • backport HSM To HBase 1.2.6版本。

  • 所有用户过来的写入路径都是SSD的,写性能提高50%。

此外,中国移动还开发了 HBase 集群智能运维工具:Slider 和RegionServerGroup,可以控制资源的分配,并基于 Region 做了一套权限认证体系。

2 点赞
0 收藏
0下载
确认
3秒后跳转登录页面
去登陆