申请试用
HOT
登录
注册
 
使用Apache Spark来调整处理语言

使用Apache Spark来调整处理语言

poppy
/
发布于
/
1839
人观看
我们已经为Spark开发了一个感知工作负载的性能调优框架,该框架收集和分析关于集群中所有Spark应用程序的遥测信息。基于这种分析(使用Spark擅长的批处理、实时流和ML分析),该框架可以识别许多提高Spark工作负载总体性能的方法:通过识别具有导致显著性能的歪斜分布的数据集ance降级,通过识别将从缓存中受益的表和数据帧,通过识别在哪里可以使用广播联接来提高比重新分区联接的性能的查询,通过识别要在集群级别为驱动程序和执行器使用的最佳默认值,容器大小,以及通过识别工作负载的最佳云机器类型。
3 点赞
1 收藏
1下载
相关文档
确认
3秒后跳转登录页面
去登陆