申请试用
HOT
登录
注册
 
基于大数据分布式存储系统Alluxio的负载均衡优化

基于大数据分布式存储系统Alluxio的负载均衡优化

计算和存储分离的架构为大数据运算引擎提供弹性扩容的能力,成为云上大数据框架的未来发展趋势。随着数据中心网络带宽的大幅提升,硬盘I/O的速度增长却趋于停滞,逐渐成为计算存储分离架构中的性能瓶颈。因此,在大数据应用和远端存储层之间部署一个以Alluxio为代表的内存文件缓存层来缓存热点数据,可以缩减硬盘I/O带来的瓶颈,提升读写效率。然而,由于内存缓存层中数据热度的显著差异,分布式内存系统面临着负载失衡的严重风险。针对这一问题,我们通过选择性地分割热点文件并将其充分分散来保障负载均衡。我们建立了一个分布式内存系统的模型来指导获取每个文件的理论最优分割数目。实验证明,相比于现有的分布式内存负载均衡算法,选择性文件分割的策略可以降低平均和尾部延迟达50%。
9 点赞
2 收藏
40下载
确认
3秒后跳转登录页面
去登陆