申请试用
HOT
登录
注册
 
BDS: A data synchronization platform for HBase

BDS: A data synchronization platform for HBase

小米云技术
/
发布于
/
4593
人观看

这个议题由 Ali-HBase 的数据链路负责人熊嘉男分享。主要介绍云端的跨 HBase 集群数据迁移的设计。对社区 HBase 用户来说,目前跨集群数据迁移最佳的解决方案一定是通过 snapshot 和 replication 配合,分别来完成全量数据和增量数据的迁移。

阿里的 BDS 采用类似的思想,通过多个 worker 来并发拷贝 HFile,实现全量数据的迁移。注意,这个过程是不依赖 Yarn 集群的,而且 BDS 可以通过动态调整 worker来控制整个流程的数据迁移速率,另外迁移时还会尽量考虑目标集群的 locality,是一种对云上用户非常友好的解决方案。
对于导全量过程中产生的增量数据,BDS 是直接去扫 HLog 日志,然后将增量的HLog 写入到对端集群的,整个过程直接访问 HDFS,跟源端的 HBase 集群解耦。
对于云端用户来说,这种方案即可用来做数据迁移,又可以用来做数据备份。将这个功能单独做成一套系统,对用户来说确实是很友好的一个体验。

1点赞
0收藏
2下载
确认
3秒后跳转登录页面
去登陆