申请试用
HOT
登录
注册
 
高效的数据优化在腾讯的实践应用-刘献杨
高效的数据优化在腾讯的实践应用-刘献杨

高效的数据优化在腾讯的实践应用-刘献杨

示说网官方
/
发布于
/
79
人观看

刘献杨-腾讯高级工程师

就职于腾讯实时湖仓团队,参与数据湖的构建和优化,活跃于Apache Iceberg/Spark/Parquet社区。


分享介绍:

     在腾讯,目前日均约40万亿的数据通过不同的方式流入到Iceberg中。我们围绕Iceberg的表管理构建了数据湖的优化服务,提供了小文件合并,索引构建,优化文件组织结构,文件生命周期管理,列的生命周期管理,表优化参数建议,垃圾文件清理等优化服务。在生产实践中,我们发现随着文件量的不断增加,表管理所需要的计算成本也不断增加,因此本次分享中我们将重点介绍我们如何结合文件的本身特点实现高效的数据优化,大幅降低优化服务所需的计算成本。

1点赞
1收藏
0下载
确认
3秒后跳转登录页面
去登陆