JindoFS FUSE支持

主题:
JindoFS Fuse 支持

时间:
2020.5.8 19:00

参与方式:
扫描下方二维码加入钉钉群直接观看
或届时点击链接进入直播间
https://developer.aliyun.com/live/2766?preview=1

讲师:
苏昆辉,花名抚月,阿里巴巴计算平台事业部 EMR 高级工程师, Apache HDFS committer. 目前从事开源大数据存储和优化方面的工作。

直播简介:
本次直播主要介绍如何利用FUSE的POSIX文件系统接口,像本地磁盘一样轻松使用大数据存储系统, 为云上AI场景提供了高效的数据访问手段。


阿里巴巴开源大数据EMR技术团队成立Apache Spark中国技术社区,定期打造国内Spark线上线下交流活动。请持续关注。
邀请你加入钉钉群聊Apache Spark中国技术交流社区,点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,X7S/0/QcrLMkK7QZ5sw2oTvoYW49u0g5dvGu7PW+sm4=&_dt_no_comment=1&origin=11
微信公众号:Apache Spark技术交流社区

展开查看详情

1.JindoFS Fuse 支持 抚月 19:00开始

2.JindoFS 介绍 JindoFS是一种云原生的文件系 统,结合OSS和本地存储,成为 E-MapReduce产品的新一代存储 系统,为上层计算提供了高效 可靠的存储。 JindoFS 提供了块存储模式 (Block)和缓存模式(Cache) 的存储模式。

3.JindoFS 介绍 E-MapReduce E-MapReduce 特点 开源 OSS E-MapReduce HDFS OssFileSystem JindoFS 存储空间 海量 海量 取决于集群规模 海量 可靠性 高 高 高 高 吞吐率因素 服务端 集群内磁盘缓存 集群内磁盘 集群内磁盘 元数据效率 慢 中 快 快 扩容操作 容易 容易 容易 容易 缩容操作 容易 容易 需Decommission 容易 数据本地化 无 弱 强 较强 FUSE 支持 支持 支持 支持

4.FUSE 介绍 FUSE (Filesystem in Userspace) is an interface for userspace programs to export a filesystem to the Linux kernel. The FUSE project consists of two components: the fuse kernel module (maintained in the regular kernel repositories) and the libfuse userspace library (maintained in this repository). libfuse provides the reference implementation for communicating with the FUSE kernel module.

5.FUSE 演示

6.FUSE 使用场景 TensorFlow PyTorch Caffe FUSE Kubernetes / Kubeflow / Arena Linux Kernel 裸实例 / ECS OSS S3 HDFS

7.FUSE接口 FUSE接口 系统调用 FUSE接口 系统调用 getattr lstat statfs statvfs readlink readlink flush getdir release close mknod mknod fsync fsync mkdir mkdir setxattr setxattr unlink unlink getxattr getxattr rmdir rmdir listxattr listxattr symlink symlink removexattr removexattr rename rename opendir opendir link link readdir readdir chmod chmod releasedir closedir chown chown fsyncdir truncate truncate init utime utime destroy open open access access read pread ftruncate ftruncate write pwrite fgetattr fstat

8. HDFS FUSE实现 ./mdfs /tmp/fuse JVM ls –l /tmp/fuse HDFS集群 libfuse DFSClient libc libc userspace Kernel FUSE NFS VFS Ext3 ...

9. JindoFS FUSE实现 ./mdfs /tmp/fuse libclient ls –l /tmp/fuse JindoFS集群 libfuse libc libc userspace Kernel FUSE NFS VFS Ext3 ...

10.JindoFS FUSE优化 读操作效率不高,每次read最多只能读128KB 频繁访问元数据,元数据性能瓶颈 升级Linux Kernel版本 优化max_idle_threads参数 客户端缓存

阿里巴巴开源大数据EMR技术团队成立Apache Spark中国技术社区,定期打造国内Spark线上线下交流活动。请持续关注。 团队群号:HPRX8117 微信公众号:Apache Spark技术交流社区
关注他