申请试用
HOT
登录
注册
 
HBase Bucket Cache On Persistent Memory

HBase Bucket Cache On Persistent Memory

小米云技术
/
发布于
/
4491
人观看

由来自 Intel 的资深PMC成员 Anoop 和 Ramkrishna 分享,他们的 Intel 同事 XuKai有参与介绍。Persistent Memory 是 Intel 研发的一种新型持久化内存,和 Intel 的朋友交流,据说成本只有内存的1/3,但是性能能到内存的90%左右,同时还能保证持久性。这是一种性价比很高的新型存储介质。

以小米机器为例,HBase 的机器都是128GB的内存,外加12块900GB左右的SSD盘。单机能存放近10TB的数据,但内存却只有128GB,内存容量和磁盘容量占比为1.1%。而实际上,延迟敏感型业务方对 HBase 的 Cache 命中率是有更高要求的,那怎么办?Intel 的思路就是将 Cache 放到容量更大、性能损耗可控的 Persistent Memory 上来,例如在10TB的机器上用1TB的 Persistent Memory 做 BucketCache,那 Cache 命中率将大幅提升。
从他们的测试结果可以看出,也确实是有很大性能提升的。

当然,我们内部讨论过,如果没有 Persistent Memory 这种特殊的硬件支持,也可以考虑将 BucketCache 混合存放在内存和 SSD 上。简单来说,就是将最热的数据存内存,次热的数据存 SSD.至少次热的数据是直接读的本地 SSD,无论是走 HDFS 本地短路读,还是 HDFS 远程读,都不可能比跳过 HDFS 协议读本地 SSD 更快。

0 点赞
0 收藏
0下载
确认
3秒后跳转登录页面
去登陆