申请试用
HOT
登录
注册
 
Spark Shuffle RPMem扩展: 借助持久内存与RDMA加速Spark 数据分析
Spark Shuffle RPMem扩展: 借助持久内存与RDMA加速Spark 数据分析

Spark Shuffle RPMem扩展: 借助持久内存与RDMA加速Spark 数据分析

Apache Spark中国技术交流社区
/
发布于
/
918
人观看

主题:
Spark Shuffle RPMem扩展: 借助持久内存与RDMA加速Spark 数据分析

时间:
10月29日 19:00

观看方式:
扫描下方二维码进钉钉群
或者登陆直播间(即回看链接)
https://developer.aliyun.com/live/245610

讲师:
张建,英特尔亚太研发有限公司大数据部门的软件工程经理,专注于大数据和机器学习中存储方案优化

议题介绍:
Spark Shuffle RPMem扩展提供了一个基于PMem 和RDMA 来加速Shuffle的方案,它采用PMem 作为Shuffle的存储介质,利用PMDK 用户态编程库进行数据读写,减小用户态、内核态切换与文件系统开销;用基于RDMA网络协议异构的传输层实现高性能数据传输;还将RDMA直接注册在PMem上,减少内存拷贝。
本次直播介绍如何利用持久化内存与高性能RDMA 网络来加速Spark Shuffle。

0点赞
1收藏
5下载
确认
3秒后跳转登录页面
去登陆