中国开源年会COSCon & Apache Roadshow - 新一代大数据任务调度 Apache DolphinScheduler 如何支持十万级任务调度的

在2020中国开源年会 & Apache Roadshow - China大会上,DolphinScheduler社区PPMC-代立冬分享了新一代大数据任务调度 - Apache DolphinScheduler(DS) 是如何支撑每日十万级大数据任务调度的。从要解决的 6 大调度系统痛点出发,仔细剖析了当前开源调度的不足,随后介绍了 DS 社区的用户及社区现状,DS 的 4 大优势与 8 大特性,分享中也介绍了架构变迁与经验,最后分享了用户案例和发展规划及相关资源

展开查看详情

1.

2.

3.

4.

5.

6.

7.

8.

9.

10.

11.

12.

13.

14.

15.

16.

17.

18.

19.

20.

21.

22.

23.

24.

25.

26.

27.

28.

29.

Apache DolphinScheduler是一个大数据分布式工作流任务调度系统,致力于“解决大数据任务之间错综复杂的依赖关系,使整个数据处理流程直观可见”。DS以 DAG方式将任务连接起来,实时监控任务的运行状态,同时支持重试、从指定节点恢复等操作。已有400多家公司上生产用