申请试用
HOT
登录
注册
 

eBay Hadoop集群优化与3.3升级实践-林意群

示说网官方
/
发布于
/
572
人观看

林意群-eBay大数据工程师,Apache Hadoop PMC Member

eBay大数据工程师,Apache Hadoop PMC成员,Apache Ozone PMC成员,拥有多年参与开源社区的经验。目前专注于eBay HDFS集群性能优化方面的工作,著有《深度剖析Hadoop HDFS》一书。


分享介绍:

     在eBay,我们主要使用Hadoop 2.7版本作为内部运行的稳定版本。随着公司业务的发展,我们针对Hadoop 2.7版本做了很多的优化和改进。但是随着社区的快速迭代更新,我们所使用的Hadoop版本已经远远落后于社区最新的3.3版本,导致我们无法直接使用Hadoop 3.x的很多新特性。另一方面,eBay有着严格的安全合规要求,Hadoop 2.7版本存在着许多CVE问题,升级到3.3版本能够帮助我们很好地解决这些问题。本次分享将介绍我们在Hadoop 2.7版本做的部分优化,以及如何将eBay Hadoop集群从2.7版本平滑升级到3.3版本的经验和解决方案。

6点赞
0收藏
5下载
确认
3秒后跳转登录页面
去登陆