申请试用
HOT
登录
注册
 
4.王斐-eBay Spark自动化升级之道
4.王斐-eBay Spark自动化升级之道

4.王斐-eBay Spark自动化升级之道

示说网官方
/
发布于
/
84
人观看

王斐,Apache Kyuubi PPMC Member,eBay Hadoop团队软件工程师,负责离线计算平台的开发和维护。

eBay Hadoop team负责内部Spark版本的发布和维护,Spark的大版本升级不可避免会有些计算行为的改变,让用户自行做引擎版本的切换和数据校验,可想而知是一个漫长的过程。在最近的Spark 3 版本升级过程中,我们采用一套自动化系统进行SQL任务的数据校验和引擎版本的切换,用户只需要点击确认升级按钮,大大减少了用户和平台维护人员的人力成本。本次分享将系统的介绍eBay Spark自动化升级系统。

0 点赞
2 收藏
9下载
确认
3秒后跳转登录页面
去登陆