申请试用
HOT
登录
注册
 
2.廖登宏-openLooKeng的批处理特性探索
2.廖登宏-openLooKeng的批处理特性探索

2.廖登宏-openLooKeng的批处理特性探索

示说网官方
/
发布于
/
134
人观看

廖登宏,华为高级工程师,长期参与openLooKeng项目的需求分析、方案设计、代码开发等工作,致力于大数据领域的高性能查询场景的优化,对openLooKeng的解决方案及其行业应用有深入理解。

ETL批处理是数据湖数据处理过程中的重要组成部分,对于长时间运行的任务,在失败时通过自动重试查询进行任务恢复,对于下游的业务来说非常重要。本议题将主要分享openLooKeng在批处理上面所做的一些探索,包括operator leve snapshot与task level snapshot等不同级别的容错恢复机制,并分享关于批处理的设计思考。

0 点赞
0 收藏
8下载
确认
3秒后跳转登录页面
去登陆