申请试用
HOT
登录
注册
 
Scalable Filesystem Metadata Services
Scalable Filesystem Metadata Services

Scalable Filesystem Metadata Services

Alluxio
/
发布于
/
4485
人观看

Alluxio(alluxio.io)是一个开源数据编排系统,它可以为多个外部分布式存储系统提供统一的命名空间和数据访问接口。对于Alluxio而言,Alluxio为挂载的外部文件系统里的海量数据文件及文件夹提供高速、可伸缩的元数据存取服务非常重要且关键。

本此技术分享着重于我们在Alluxio元数据服务(主节点)的设计、实现和优化以解决超大规模文件系统元数据管理挑战方面的经验。Alluxio中采用了一系列技术方案,包括层次化元数据存储(基于堆外KV存储的RocksDB),细粒度的文件系统inode树锁,嵌入式状态复制机(基于RAFT),并针对常用的RPC框架(Thrift V.S. gRPC)进行调研和性能调优。目前,通过综合运用上述技术,Alluxio 2.0已经具备至少存储10亿个文件的能力,并且显著减少了内存占用,可支持满足3000个工作节点和30000个客户端规模的元数据服务需求。

最后,Alluxio开源社区经过7年的发展,已经吸引了超过 300 个组织机构的1000多名贡献者参与到 Alluxio 的开发中,包括阿里巴巴、 Alluxio、 百度、 CMU、 Google、 IBM、 Intel、 南京大学、 Red Hat、 腾讯、 UC Berkeley、 和 Yahoo。时至今日,Alluxio也已经在数百家机构的生产中进行了部署,最大生产部署运行的集群规模超过 1500 个节点。我们还将简要介绍几个Alluxio在这些生产环境中的经典部署应用案例。

20 点赞
8 收藏
25下载
确认
3秒后跳转登录页面
去登陆