我们制作出Flink的整体架构,后期我们的任务就是开发出ABLINK框架以及运维INSTANCE,未来ABLINK将平台化及开源FCS。

注脚

展开查看详情

1.基于FLINK的实时计算平台 静⾏行行 邓⼩小勇 阿⾥里里巴巴 ⾼高级技术专家 2018-09 Flink China

2.个⼈人介绍 Flink China xiaoyong.dengxy@alibaba-inc.com 2010 — 2013 2013 — 2014 2014 — 2015 2015 — ⾄至今 • 毕业加⼊入阿⾥里里巴巴 • 实时数据同步 • 离线数据同步 • 流计算平台 • 搜索引擎测试 • 实时数据离线处理理 • 分布式DataX • 基于Flink的开发运维 • Dump中⼼心开发 • 实时数据质量量 • 云上数据同步 • 云上实时业务

3. Flink China ⽬目录

4. Flink China One 整体架构

5.整体架构 Flink China Browser SDK ABlink Server DB jar BRS FCS BRS FCS Druid NM NM JM JM JM JM TM TM TM TM Queue RM RM TM TM TM TM TCollector TM TCollector TM Flume Flume

6.整体架构 Flink China

7. Flink China Two 任务开发

8.ABLINK 框架 Flink China BUC UMM RAM STS Web SDK Account Measure & Billing RestAPI Folder Editor Properties/PlanJson BlinkSQL/Blink Table Node File File Lock SQL Validate DB DataStream File Version/ File Cache Code Diff UDF/UDTF/ Resource DataStream jar Dict UDAF jar DataStorage Local Debug Project Node Reference Node Relation OSS File Node Resource Node Node Scheduler Dash Board start Timeline Logic Topo pause Instance Physic Topo resume History/ Code Diff terminate Alarm

9.开发截图 Flink China

10. Flink China Three 任务运维

11.INSTANCE 状态维护 Flink China Instance

12.任务DEBUG Flink China CPU in/outQueue CPU — JVM latency recv/sendCount keyGroupRange Physical Logical — delay CPU MEM Resource adjust in/outQueue — optimize

13.运维截图 Flink China

14.FCS的设计与实现 Flink China • Flink任务的启停 • Yarn的管理理 • 智能调优 • Jar包等资源缓存 • 集群状态监控

15. Flink China Four 发展规划

16.ABLINK平台化(内部) Flink China IoT

17.FCS开源 Flink China Flink Cluster FCS API standalone/YARN Session

18.Thanks

user picture
Apache Flink China中文社区,致力于Flink技术在中国的推广与传播。

相关文档