申请试用
HOT
登录
注册
 
HBase at Tencent

HBase at Tencent

小米云技术
/
发布于
/
4896
人观看

来自腾讯的工程师程广旭为我们带来了 HBase 在腾讯的业务中的应用场景和经验。
腾讯目前有90多个 HBase 集群,最大的集群有500多台节点。腾讯内部多个业务包括腾讯视频,微信支付和腾讯云等都在使用 HBase 服务。其首先分享了使用 HBase 进行数据迁移的经验:Replication 和 ExportSnapshot.在实际使用中,业务每天的数据量都很大,这些数据需要保存的周期要么很大,要么很小。因此采取了按天分表的方式,也就是每天会创建一个新的表,对于过期的数据,直接把当天的表删掉即可。其次分享了对带宽的优化。

写入 HBase 的流量主要有五个部分:

  • 写入

  • WAL

  • Flush

  • Small Compaction

  • Major Compaction

优化的方法有:

  • 开启 CellBlock 的压缩。

  • WAL 的压缩。

  • 增大 memstore,减少 Flush,减少 Compaction.

  • 减少 Compaction 的线程数目。

  • 关闭 Major Compaction.

  • 按天建表。

最后介绍了如何共享 RestServer.当每个 HBase 集群搭建一个 RestServer 时,如果读取集群的请求很少,那么集群的 RestServer 资源比较浪费。腾讯做了一个改进,配置一个 RestServer 可以访问多个 HBase 集群,同时在 MySQL 里记了哪些表可以通过这种方式访问。

1 点赞
0 收藏
0下载
确认
3秒后跳转登录页面
去登陆