Flink on Zeppelin 流计算处理最佳实践

1 .Flink on Zeppelin 流计算处理 最佳实践 章剑锋（简锋） 阿里云 开源大数据平台 EMR-Studio Leader 

2 .Jeff Zhang 

3 .目录 大数据概览 Flink 学习框架 目录 EMR Studio 上的流计算最佳实践 

4 .大数据概览 • 大数据处理 ETL (Data  Data) • 大数据分析 BI (Data  Dashboard) • 机器学习 AI (Data  Model) 

5 .Flink 要点 • Stateful • Time • Flink Architecture • Flink API • Flink Configuration • Flink Log 

6 .Stateful Why • 流计算的及时性 • 流计算的unbounded When • Window • Join • Pattern How • Statebackend 

7 .Time • Event time • Processing time • Watermark 

8 .Flink Architecture 

9 .Flink API 

10 .Flink Configuration • Cluster Configuration • Job Configuration • Statebackend • Resource Manager • SQL/Python https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/deployment/config/ 

11 .Flink Log 

12 .EMR Studio 实践 

13 .EMR Studio 特性 • 兼容开源组件 • 支持连接多个集群 • 适配多个计算引擎 • 通过界面化的方式进行交互式开发和作业调度 • 适用多种大数据应用场景 • 计算存储分离 

14 .兼容开源组件 EMR Studio 在开源软件 Apache Zeppelin，Jupyter Notebook, Apache Airflow 的基础上优化了做了 优化和增强。 

15 .Flink Clients 

16 .Flink on Zeppelin (Phase 1) - Interactive Flink Client 

17 .Flink on Zeppelin (Phase 2) - Interactive JobManager 

18 .Flink on Zeppelin 主要Feature Feature Feature 说明 同时支持 Flink 1.10 到 1.13 的 4 个大版本，并且同时支持Scala-2.11 和Scala- 多版本Flink支持 2.12 支持4种不同Flink运行模式：Local，Remote，Yarn，Yarn-Application，K8s（开 多种运行模式支持 发中） 多语言支持，并且打通多 支持3种Flink开发语言：SQL，Python，Scala，并且打通各个语言之间的协作， 语言间的协作 比如用Python写的UDF可以用在用Scala写的Flink 作业里 支持Hive 内置HiveCatalog 交互式开发模式 交互式的开发模式可以大幅度提高开发效率 

19 .Flink on Zeppelin 主要Feature Feature Feature 说明 流式数据可视化 支持流式数据的动态可视化展现，方便调试和大屏展示 同时支持Batch ，Streaming 模式，支持单行/多行 SQL 注释，支持指定 SQL 语言功能增强 jobName，并行度，Multiple Insert 除了在Zeppelin页面提交作业，也可以调用Zeppelin的Rest API来提交作业，将 支持Rest API 方式提交Job Zeppelin集成到自己的系统里。 多租户支持 支持多个用户在Zeppelin上开发，互不干扰 

20 . Demo https://help.aliyun.com/document_detail/208107.html?spm=a2c4g.11186623.6.845.6cfc24577t1RbI 

21 .