DolphinScheduler & K8s在优路科技的实践-李文禾

李文禾 重庆优路科技书香事业部大数据组及创新组负责人 & Apache DolphinScheduler Committer

1、优路科技为何选择K8s

2、优路科技为何在众多大数据任务调度中选择了DolphinScheduler
考虑到以上这些工具要么活跃度不高且关注的人数不是很多,要么太重量级了,要么都缺少监控和任务配置调度管理。因此结合公司的具体情况,再加上对实时的需求量不高,选定了较轻量级的 DataX 作为数据同步的工具,但是就面临了一个问题,任务调度的问题,那个时候 DolphinScheduler 还么问世呢,最后选择了 Airflow 。

在使用Airflow的过程中,出现过以下问题:
1)、部署及集群扩容相较于复杂及麻烦;
2)、通过Python代码绘制DAG,当任务数及依赖增多后,不便于维护;
3)、当任务量多的时,容易造成卡死。

那么 DolphinScheduler 的出现解决了我司的哪些问题呢?
1)、部署及集群扩容简单,本身我司也对 DolphinScheduler 做了一定的定制化;
2)、流程可视化,并且可以通过拖拽的方式来绘制DAG;

总结:
Kubernetes 解决了部署、维护、滚动升级及高可用的问题(也就是自动化运维),同时也解决了开发、测试、生产的运行环境不一致的问题。因此研发人员的重心着重在产品研发上,而不是在运维上,这也是我们的主旨:快速试错、结果导向。

DolphinScheduler 主要是解决了数据同步任务需要人员编码的问题,让不会编码的人员也能够快速进行任务配置,提高开发人员及业务人员的工作效率,同时由于自定义简单相较于简单,很容易对 DolphinScheduler 高度定制化,不需要重复造轮子。

展开查看详情

1.

2.

3.

4.

5.

6.

7.

8.

9.

10.

11.

12.

13.

14.

15.

16.

17.

18.

19.

20.

21.

22.

23.

24.

25.

26.