申请试用
HOT
登录
注册
 
3.分布式文件系统如何治疗大数据与 AI 业务上云的水土不服-苏锐
0 点赞
0 收藏
1下载
白玉兰开源
/
发布于
/
18
人观看

大数据业务在 Hadoop 生态下已经发展 15 年,但是当 Hadoop 遇到云原生环境时,它的架构缺显得有些水土不服。AI 应用在企业中的落地正在加速,但是数据存储仍是很大的挑战。在本次分享中,Juicedata 合伙人苏锐将分享他在客户一线的实践经验。

苏锐,Juicedata联合创始人

展开查看详情

1.分布式文件系统如何治疗 大数据与 AI 上云的水土不服 苏锐,Juicedata 合伙人

2.今天分享的内容 ● 大数据与 AI 为什么要上云? ● 上云,为什么会水土不服? ● 如何解决,思路有哪些? ● 大数据上云实践 ● AI 上云实践

3.JuiceFS is a distributed POSIX file system built on top of Redis and S3.

4.大数据与 AI 为什么要上云 优势 劣势 ● 弹性伸缩 ● 贵 ● 简化基础运维 ● 软件选择受限

5.大数据与 AI 为什么要上云 TCO & 弹性伸缩 运维 ● 不能只看单位节点的成本; ● 资源层面 ● 考虑采购速度、扩容速度对业务的影响; ○ 可以快速迁移恢复,意味着可用性提升; ● 考虑负载的波峰波谷; ○ 硬件维护的解放。 ● 能伸还要能缩,后者在机房更困难。 ● 软件层面 ○ 用 PaaS 有厂商依赖; ○ 用 Hadoop 生态,但没有全托管服 务。

6.大数据上云,有哪些水土不服? ● 机器选型的变化,机房配置照搬上云不适合; ● 选哪个发行版?EMR,CDP,社区版 … 如何验证兼容性,软件照搬最保险? ● 架构改造,存储计算分离 ○ 不改造,就没有 弹性伸缩; ○ 改造,如何改?

7.大数据上云,有哪些水土不服? ● 机器选型的变化,机房配置照搬上云不适合; ● 选哪个发行版?EMR,CDP,社区版 … 如何验证兼容性,软件照搬最保险? ● 架构改造,存储计算分离 ○ HDFS 独立部署可以 实现最简单的存算分离, 计算节点可以弹性,但存储仍然不能弹性; ○ 换对象存储,实现了弹性伸缩,但也有不少坑: ■ 与各组件的兼容性( Hadoop 生态的引擎都按 HDFS API 设计,各种对象存储的兼容性不一致); ■ 数据一致性(大部分 对象存储是最终一致性); ■ 数据本地性 丧失; ■ 性能下降。

8.AI 上云,有哪些水土不服?

9.AI 上云,有哪些水土不服? ● 用到多种存储类型,数据搬来搬去 ○ 块存储:单机访问,有容量限制。 ○ 文件存储:云存储的短板。 ○ 对象存储:用于训练性能不足,海量 对象对于人的管理也是困 难的。 ○ 云上的高性能文件系 统:大多是基于 Lustre,贵,规模有限。

10.AI 上云,有哪些水土不服? ● AI 业务期待的存储能力,和背后的逻辑: ○ POSIX 兼容(和使用本地 盘一样,不用学新的,而且框架兼容性最好); ○ 能被大量节点共享访问(除了机器的并 发访问,工作目录能在集群任意 节点上访问是很方面的体 验); ○ K8s 友好(训练任务大多用 K8s 调度了,不友好没法用的); ○ 能管理上百 亿文件(CV、自动驾驶领域刚需); ○ 快,最好不 贵(快到不拖 GPU 后腿)。

11.解决思路 SQL ---> NoSQL ---> NewSQL ---> HTAP

12.解决思路 SQL ---> NoSQL ---> NewSQL ---> HTAP 一体机 ---> SDS ---> S3 ---> Cloud-Native File Storage

13. JuiceFS ● 面向云环境设计; ● 支持 POSIX,HDFS,S3 API; ● Kubernetes CSI 友好; ● 缓存加速; ● 百亿文件管理; ● 7 种元数据引擎; ● 33 种对象存储; ● GitHub 3.6K star

14.Roadmap 1. (已发布)Hadoop SDK,100% HDFS 兼容; 2. (已发布)S3 Gateway,兼容已有为 S3 接口开发的程序; 3. (已发布)Windows 客户端; 4. (已发布)数据存储加密; 5. (已发布)全局 UID/GID 配置; 6. (已发布)支持 SQL 元数据存储引擎(如 MySQL、TiDB); 7. (已发布)支持元数据导出及导入; 8. (已发布)支持客户端缓存元数据; 9. (已发布)支持分布式 K/V 元数据存储引擎(如 TiKV、FoundationDB),管理更大规模集群。

15.给大数据开药方 ● 100% HDFS 兼容; ● 支持所有发行版,可以平滑迁移; ● 缓存对性能的提升补充了数据本地 性; ● 保证数据强一致性; ● 实现存储计算分离,计算资源实现弹 性伸缩。

16. 给 AI 开药方 ● 100% POSIX 兼容; ● 和本地盘使用体验一样; ● 上千节点共享; ● 百亿文件管理; ● 计算节点本地 Cache; ● AI Lake,数据不再搬来搬去。

17.开源社区是大家的社区 ● 欢迎大家贡献你们遇到的痛点和好主意 ● 一起开出更好的 药方 💊 😁

0 点赞
0 收藏
1下载