基于Flink的流计算平台

流计算开发运维痛点 基于Flink的流计算平台
展开查看详情

1.基于Flink的流计算平台 梁梁永锋(天姥)

2.⽬目录 01 流计算开发运维痛点 02 基于Flink的流计算平台

3. 流计算开发运维痛点 01 开发 调优 运维

4.01 流计算开发运维痛点 任务需要底层API开发 • 环境配置复杂 • 理理解引擎接⼝口逻辑 • Java、Scala等偏底层语⾔言 • 拷包运⾏行行任务,⼀一致性

5.01 流计算开发运维痛点 任务逻辑调试 • 造数据 • UT、IT • 远程debug • 防⽌止⽣生产环境污染 • 结果数据对⽐比

6.01 流计算开发运维痛点 上下游数据预览 • 多种存储客户端 • 可视化⽅方式各有不不同 • 如何关联排查问题 • 数据安全

7.01 流计算开发运维痛点 任务指标曲线 • 任务⼤大盘 • 物理理参数 • 逻辑指标 • 任务健康度 • failover • checkpoint

8.01 流计算开发运维痛点 性能调优 • 上下游批量量读写 • 资源配置 • 反压点 • 数据倾斜

9.01 流计算开发运维痛点 监控报警 • 延时,没数据 • 数据波动 • failover • 。。。

10. 基于Flink的流计算平台 02 StreamCompute AliCloud ⼀一站式平台

11.02 基于Flink的流计算平台 StreamCompute

12.02 基于Flink的流计算平台 双11实时⼤大屏 —交易易峰值:30+ 万笔/s —⽀支付峰值:20+ 万笔/s —⽇日志峰值: 数亿条/s

13.

14. 02 基于Flink的流计算平台 + = Blink Apache Flink Alibaba’s Improvements Alibaba Blink Blink + = 流计算 Alibaba Blink Productization StreamCompute

15.02 基于Flink的流计算平台 Yarn相关改造 动态调整并发 1个job 1个JM 01 02 ⼆二级调度 04 局部failover 增量量checkpoint task局部failover 03 JM failover 06 05 SQL 异步IO 增加DDL 扩展DML

16.02 基于Flink的流计算平台 UDF/UDTF/UDAF Stream JOIN, etc. Retraction Window AGG DML: INSERT etc. DDL SQL改造

17. Hundreds of Products 数据应⽤用 Search / Recommedation/ BI/ DataWarehose/ Security Productive IDE 数据开发 StreamCompute Thousands of SQL Jobs Flink SQL/Table API Flink/Blink DataSet API DataStream API Large Scale Production Flink Runtime Common Cluster Managers 集群管理理 Apache Yarn/Fuxi Apache HDFS/Pangu Thousands of Machines 物理理层 Machine

18.基于Blink的流计算平台 —namespace:project —阿⾥里里云账号权限体系 —⼀一站式 • 数据探查 • 数据开发 • 数据运维 • 性能调优 • 监控报警 —轻量量化

19.02 基于Flink的流计算平台

20.

21.02 基于Flink的流计算平台 之前的痛点如何解决?

22. 02 基于Flink的流计算平台 Declarative Optimizable Understandable Stable Unify Cross-language 使⽤用SQL+UDX解决底层API问题

23.02 基于Flink的流计算平台

24.02 基于Flink的流计算平台 使⽤用local debug解决 造数据、调试难问题

25.02 基于Flink的流计算平台 丰富的connector

26.02 基于Flink的流计算平台 使⽤用“数据存储”打 通各类型存储系统

27. 02 基于Flink的流计算平台 丰富的指标曲线让任 务健康状况⼀一⽬目了了然

28. 02 基于Flink的流计算平台 丰富的指标曲线让任 务健康状况⼀一⽬目了了然

29.02 基于Flink的流计算平台 指标采集流程 Toll cector job job put put put flume query sub SLS/ 流计算 DRUID KAFKA put machine