申请试用
HOT
登录
注册
 
Gluten: 将Spark SQL性能翻一倍!-周渊
Gluten: 将Spark SQL性能翻一倍!-周渊

Gluten: 将Spark SQL性能翻一倍!-周渊

示说网官方
/
发布于
/
266
人观看

周渊-Intel软件开发经理

Intel亚太研发大数据分析组研发负责人,具有十多年大数据研发经验,深度参与了Spark原生执行引擎从0到1的开发过程,在客户端有丰富的Spark落地实践经验。


分享介绍:

     Spark经过多年发展,作为基础的计算框架,不管是在稳定性还是可扩展性方面,以及生态建设都得到了业界广泛认可。为了更好提升Spark性能,我们开发了gluten项目来通过原生算子加速Spark应用性能。Gluten是一个开源项目,目前已经有多个业界的公司来合作开发,包括Intel, Kyligence, BigO, Meituan, Alibaba cloud, Netease, Baidu, Microsoft等。通过对接gluten对接的原生执行引擎,Spark集群这里的CPU利用率可以得到极大提升,从而取得高达8x的提速。

1点赞
1收藏
11下载
确认
3秒后跳转登录页面
去登陆