申请试用
HOT
登录
注册
 

以Taier为基石构建大数据开发平台-赵章万

示说网官方
/
发布于
/
291
人观看

Taier 是在经过多年的探索与实践过程中,逐步积累的产物,作为一个分布式可视化的DAG任务调度系统,大数据开发人员可以在 Taier 直接进行业务逻辑的开发,而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现,将工作的重心更多地聚焦在业务之中,Taier 在构建大数据开发平台时,可以承担核心的调度任务,来提供大数据组件对接的能力。Taier 支持目前开源社区主流的数据源与计算组件。如 MySQL、Hive、Presto 等数据源和 Flink、Spark 两种计算组件。。 Github:https://github.com/DTStack/Taier 。 本次分享主要围绕以下方面来进行:演讲:《以Taier为基石构建大数据开发平台》 1. 什么是 Taier ?

  • 核心功能介绍:任务调度、多集群兼容
  • 开源历程
  1. Taier 在构建大数据平台的设计思路
  • 单一原则:解耦任务与实例,任务调度与实例提交、组件插件化
  • 拓展性:组件插化可插拔设计
  • 兼容性:商业化Hadoop版本多样性的兼容
  1. Taier 的实战与案例分享
  • 个人开发者案例:用Taier实现CDC功能
  • 云平台案例:某金融公司基于Taier构建的Saas平台

赵章万(花名偷天),袋鼠云资深Java开发专家,平台开发团队负责人,拥有10年大数据系统与架构经验。同时作为开源项目负责人,从内部孵化了开源项目Taier(大数据分布式可视化DAG任务调度系统),参与过多场外部技术论坛等活动。

1点赞
1收藏
2下载
确认
3秒后跳转登录页面
去登陆