申请试用
HOT
登录
注册
 
Spark SQL自适应执行

Spark SQL自适应执行

卡森
/
发布于
/
4611
人观看
在过去的一年时间中,Baidu和Intel的工程师为了最大限度优化Spark SQL在超大规模集群中的执行效率,引入了Adaptive Execution(自适应执行)技术,本文介绍自适应执行技术适用的应用场景,在数据倾斜,超小数据分块,自动广播Join等优化上表现不俗,最后也展现了Baidu在生产环境中采用自适应执行技术所获的的成本收益。
30 点赞
4 收藏
21下载
相关文档
确认
3秒后跳转登录页面
去登陆