申请试用
HOT
登录
注册
 
HBase at DiDi

HBase at DiDi

小米云技术
/
发布于
/
4928
人观看

来自滴滴的工程师唐天航为我们带来了 HBase 在滴滴的业务中的应用场景和经验。
滴滴国内的 HBase 集群有7个,海外国际化集群有4个。覆盖了滴滴全部的业务线,目前服务的项目大概有200多个,数据级是 PB 级。

滴滴使用 HBase 主要有两个场景:

  • 离线数据查询,包括 Phoenix,Kylin,openTSDB 的使用;

  • GeoMesa 系统构建的轨迹数据系统,可用于实时查询、监控和特征工程的数据挖掘。

GeoMesa 系统提供导入和导出接口,导入接口支持 Native API,MR/BulkLoad,StreamingSQL,导出接口支持 SparkCore,SparkSQL,CQL,GeoServer.这样使用 GeoMesa 可以有以下好处:

  • 开箱即用;

  • 类 SQL 文本语言支持;

  • 横向可扩张;

  • 基于 Hadoop 生态。

滴滴在实践中对 zookeeper 的改进为:分离 server 和 client 所依赖 ZK,当client 端的突发大量访问造成 zk 不可用时,不会影响到服务端。(HBASE-20159,ZOOKEEPER-832)。滴滴在 HBase/Phoenix 上的改进,主要是 Quota设置、replication 以及查询优化(HBASE-21964,HBASE-22620,PHOENIX-5242)

最后, 滴滴建立了从 Client 端到 HAProxy,然后到 Thriftserver 和 QueryServer上,之后再到 HBase 的多元用户全链路追踪,能够更加有效提升运维效率。

1 点赞
0 收藏
3下载
确认
3秒后跳转登录页面
去登陆