申请试用
HOT
登录
注册
 
2021_Spark_Rapids_Introduction(1)
2021_Spark_Rapids_Introduction(1)

2021_Spark_Rapids_Introduction(1)

Apache Spark中国技术交流社区
/
发布于
/
220
人观看

Spark 3.0开始支持了数据的列式处理,同时能够将GPU作为资源进行调度。
在此基础上,Nvidia/Spark-Rapids开源项目基于Rapids库, 以plugin的方式提供了一组GPU上实现的ETL处理,利用GPU强大的并发能力加速Join, Sort, Aggregate等常见的ETL操作。
本次分享主要介绍该开源项目和目前取得的一些进展,以及使用到的一些相关技术。
项目介绍:https://nvidia.github.io/spark-rapids/

沈国一(Gary),Nvidia经理。带领上海Spark团队,专注于在大数据处理平台Apache Spark 3.0上实现GPU加速的开发和支持,通过基于GPU加速后的Spark ETL, XGBoost on Spark等来解决ML或DL中对于大数据处理的各种需求。

1 点赞
0 收藏
7下载
确认
3秒后跳转登录页面
去登陆