申请试用
HOT
登录
注册
 
Pharos as a Pluggable Secondary Index Component

Pharos as a Pluggable Secondary Index Component

小米云技术
/
发布于
/
4526
人观看

来自光大银行的 Lei Wang,主要内容是他们自己设计了一个 HBase 的二级索引系统,这个系统的主要作用是提高查询的效率。他们的设计目标是希望降低侵入性同时保证架构的简洁。由于需要排序等全局性的功能,所以客户端除了提供一个自定义的Condition查询条件外还需要提供额外的全局协调者的功能。
他们这个设计有趣的地方是通过 rowkey 的设计和影子 Column Family 使索引文件与数据文件处于同一个 region 内,为了防止 Region Split 造成索引与数据文件不一致的问题,他们使用Index Builder 来基于数据重新生成索引。接下来他分别介绍了排序、分页和缓存的实现。最后展望了一些未来的规划,基于谷歌的 Percolator 提供事务的一致性、Bitmap 索引以及 CBO优化、与 Presto 集成等。

1 点赞
0 收藏
0下载
确认
3秒后跳转登录页面
去登陆