申请试用
HOT
登录
注册
 
是时候改变你数仓的增量同步方案了
是时候改变你数仓的增量同步方案了

是时候改变你数仓的增量同步方案了

Apache Spark中国技术交流社区
/
发布于
/
4026
人观看

议题:
是时候改变你数仓的增量同步方案了

简介:
本分享会先介绍传统数据增量同步方案,之后对比新方案(完全基于Spark无需额外组件),介绍新方案如何结合最新的数据湖(delta lake)实现,同时引入spark-binlog,极大的简化了数据增量的门槛和架构。如果时间允许,我们也会简单介绍开源项目spark-binlog,delta-plus等的内部设计是如何支持我们新的数据增量方案的。

讲师:
祝威廉,资深数据架构,11年研发经验。同时维护和开发多个开源项目。擅长大数据/AI领域的一些思路和工具。现专注于构建集大数据和机器学习于一体的综合性平台,降低AI落地成本相关工作上。

时间:
2019年12月5日 19:30-20:30


阿里巴巴开源大数据EMR技术团队成立Apache Spark中国技术社区,定期打造国内Spark线上线下交流活动。请持续关注。
钉钉群号:21784001
团队群号:HPRX8117
微信公众号:Apache Spark技术交流社区

13点赞
8收藏
3下载
确认
3秒后跳转登录页面
去登陆