申请试用
HOT
登录
注册
 
Kubernetes 上的 Spark:最佳实践和性能-

Kubernetes 上的 Spark:最佳实践和性能-

ccone
/
发布于
/
2444
人观看
从 2.3 版本开始,Spark 就可以在 Kubernetes 管理的集群上运行,Kubernetes 是一个实际的基于包含应用程序的自动化框架,对于 k8s 支持大数据服务来说,这是一个重要的里程碑。在演讲中,首先,我们将介绍我们通过 Kubernetes 部署提供 spark 服务作为公共云服务的工作,如:授权和日志,以及通过命名空间和 Kubernetes 配额管理等方式实现多租户。然后,我们将在运行 Spark 应用程序时共享性能优化细节的最佳实践,包括:Kubernetes 和 Spark 优化详细配置以最大限度地利用资源,与 zookeeper 服务集成以实现高可用性等。在性能方面,使用 TPC-DS 工作负载来呈现配置更改带来的性能影响。
3 点赞
3 收藏
5下载
相关文档
确认
3秒后跳转登录页面
去登陆