申请试用
HOT
登录
注册
 
1.王玉明-Spark SQL Performance Improvement Push down Partial aggregate through Join
1.王玉明-Spark SQL Performance Improvement Push down Partial aggregate through Join

1.王玉明-Spark SQL Performance Improvement Push down Partial aggregate through Join

示说网官方
/
发布于
/
170
人观看

王玉明是eBay的软件工程师,也是Apache Spark 的committer。他专注于Spark SQL优化。

在生产中,我们发现有很多连接(Join)后都会有聚合(Aggregate)的查询,并且Join可能会膨胀或者Aggregate会明显减少数据。这里详细介绍了我们对该类查询所做的优化。TPC-DS中30个query有提升,最明显的能提升6倍。 1. Push down partial aggregate through inner Join 2. Push down partial distinct through Join 3. De-duplicate the right side of left semi/anti join 4. Make partial aggregate adaptively

3 点赞
0 收藏
23下载
确认
3秒后跳转登录页面
去登陆