申请试用
HOT
登录
注册
 
利用闪存优化在Cosco基础上的Spark Shuffle

利用闪存优化在Cosco基础上的Spark Shuffle

Apache Spark中国技术交流社区
/
发布于
/
585
人观看

直播间链接 https://developer.aliyun.com/live/43188

利用闪存优化在Cosco基础上的Spark Shuffle

吴一
Databicks开源项目组软件工程师,主要参与开源社区Spark和公司产品Databricks Runtime的研发。最近两年专注于Spark及大数据技术领域,现在是Spark社区的活跃贡献(GitHub@Ngone51)。

Cosco是由FaceBook推出的一种高效且可靠的shufflle服务。Cosco建立在分布式内存共享池的内存聚合基础之上,相较于Spark内置的shufflle,能提供更高效的磁盘利用率。本次议题将会介绍如何通过增加少量闪存来进一步提升shuffle的效率:闪存减少了内存使用,而更大的预写(聚合)缓冲区则进一步减少了磁盘IO。通过严谨的实验和分析,我们还证明了,即使是对于shuffle这种一次写入/一次读取的作业,动态地利用内存和闪存也能保护闪存的持久性。
本次议题还将讨论闪存如何集成到Cosco的架构中和所采用的部署模式,以及通过在大规模生产环境中部署所汲取到的经验教训和潜在的未来工作。

1 点赞
1 收藏
确认
3秒后跳转登录页面
去登陆