申请试用
HOT
登录
注册
 

在Kubernetes上运行Apache Spark:最佳实践和陷阱

Apache Spark中国技术交流社区
/
发布于
/
1170
人观看

点击链接观看精彩回放:https://developer.aliyun.com/live/43188

在Kubernetes上运行Apache Spark:最佳实践和陷阱

范振
花名辰繁,阿里云智能 EMR 团队高级技术专家。曾在搜狐京东工作,分别参与了 linux 内核、CDN、分布式计算和存储的研发工作。目前专注于大数据云原生化工作。

随着spark2.3引入spark on kubernetes以来,越来越多的公司开始关注这一特性。主要的原因一方面是在kubernetes上可以更好地隔离计算资源,另一方面是可以为公司提供一个统一的、云原生的基础架构技术栈。但是,如何能够稳定的、高性能的、省成本的以及安全的使用spark on kubernetes是一个很大的挑战。这次talk,我们主要谈一下在建立Data Mechanics平台(一种serverless形式的spark on kubernetes平台)的过程中积累的经验教训。

2点赞
0收藏
确认
3秒后跳转登录页面
去登陆