申请试用
HOT
登录
注册
 

在Spark3.0上实现GPU加速ETL

时间
2021/05/12 19:30 - 20:30
人数
200
地点
研讨会直播
961人浏览
会议详情

议题介绍

Spark 3.0开始支持了数据的列式处理,同时能够将GPU作为资源进行调度。
在此基础上,Nvidia/Spark-Rapids开源项目基于Rapids库, 以plugin的方式提供了一组GPU上实现的ETL处理,利用GPU强大的并发能力加速Join, Sort, Aggregate等常见的ETL操作。
本次分享主要介绍该开源项目和目前取得的一些进展,以及使用到的一些相关技术。
项目介绍:https://nvidia.github.io/spark-rapids/

嘉宾介绍

沈国一(Gary),Nvidia经理。带领上海Spark团队,专注于在大数据处理平台Apache Spark 3.0上实现GPU加速的开发和支持,通过基于GPU加速后的Spark ETL, XGBoost on Spark等来解决ML或DL中对于大数据处理的各种需求。

主办方

  • 阿里云E-MapReduce
  • 示说网

欢迎感兴趣的同学扫二维码入群讨论!与专业讲师零距离沟通,互相交流学习~!
福利请查收!进群讨论即有机会获得限量EMR免费测试资格!不止如此,拉上身边同样感兴趣的小伙伴入群,即能直接参与EMR定制品质卫衣的抽奖!

image.png

活动
文档
专题
博客
确认
3秒后跳转登录页面
去登陆