基于Flink的流计算平台

时某人

发布于

5638

人观看

#信息技术

流计算开发运维痛点基于Flink的流计算平台

展开查看详情

1 .基于Flink的流计算平台梁梁永锋（天姥）

2 .⽬目录 01 流计算开发运维痛点 02 基于Flink的流计算平台

3 . 流计算开发运维痛点 01 开发调优运维

4 .01 流计算开发运维痛点任务需要底层API开发 • 环境配置复杂 • 理理解引擎接⼝口逻辑 • Java、Scala等偏底层语⾔言 • 拷包运⾏行行任务，⼀一致性

5 .01 流计算开发运维痛点任务逻辑调试 • 造数据 • UT、IT • 远程debug • 防⽌止⽣生产环境污染 • 结果数据对⽐比

6 .01 流计算开发运维痛点上下游数据预览 • 多种存储客户端 • 可视化⽅方式各有不不同 • 如何关联排查问题 • 数据安全

7 .01 流计算开发运维痛点任务指标曲线 • 任务⼤大盘 • 物理理参数 • 逻辑指标 • 任务健康度 • failover • checkpoint

8 .01 流计算开发运维痛点性能调优 • 上下游批量量读写 • 资源配置 • 反压点 • 数据倾斜

9 .01 流计算开发运维痛点监控报警 • 延时，没数据 • 数据波动 • failover • 。。。

10 . 基于Flink的流计算平台 02 StreamCompute AliCloud ⼀一站式平台

11 .02 基于Flink的流计算平台 StreamCompute

12 .02 基于Flink的流计算平台双11实时⼤大屏 —交易易峰值：30+ 万笔/s —⽀支付峰值：20+ 万笔/s —⽇日志峰值：数亿条/s

13 .

14 . 02 基于Flink的流计算平台 + = Blink Apache Flink Alibaba’s Improvements Alibaba Blink Blink + = 流计算 Alibaba Blink Productization StreamCompute

15 .02 基于Flink的流计算平台 Yarn相关改造动态调整并发 1个job 1个JM 01 02 ⼆二级调度 04 局部failover 增量量checkpoint task局部failover 03 JM failover 06 05 SQL 异步IO 增加DDL 扩展DML

16 .02 基于Flink的流计算平台 UDF/UDTF/UDAF Stream JOIN, etc. Retraction Window AGG DML: INSERT etc. DDL SQL改造

17 . Hundreds of Products 数据应⽤用 Search / Recommedation/ BI/ DataWarehose/ Security Productive IDE 数据开发 StreamCompute Thousands of SQL Jobs Flink SQL/Table API Flink/Blink DataSet API DataStream API Large Scale Production Flink Runtime Common Cluster Managers 集群管理理 Apache Yarn/Fuxi Apache HDFS/Pangu Thousands of Machines 物理理层 Machine

18 .基于Blink的流计算平台 —namespace：project —阿⾥里里云账号权限体系 —⼀一站式 • 数据探查 • 数据开发 • 数据运维 • 性能调优 • 监控报警 —轻量量化

19 .02 基于Flink的流计算平台

20 .

21 .02 基于Flink的流计算平台之前的痛点如何解决？

22 . 02 基于Flink的流计算平台 Declarative Optimizable Understandable Stable Unify Cross-language 使⽤用SQL+UDX解决底层API问题

23 .02 基于Flink的流计算平台

24 .02 基于Flink的流计算平台使⽤用local debug解决造数据、调试难问题

25 .02 基于Flink的流计算平台丰富的connector

26 .02 基于Flink的流计算平台使⽤用“数据存储”打通各类型存储系统

27 . 02 基于Flink的流计算平台丰富的指标曲线让任务健康状况⼀一⽬目了了然

28 . 02 基于Flink的流计算平台丰富的指标曲线让任务健康状况⼀一⽬目了了然

29 .02 基于Flink的流计算平台指标采集流程 Toll cector job job put put put flume query sub SLS/ 流计算 DRUID KAFKA put machine

3点赞

18收藏