申请试用
HOT
登录
注册
 
Flink on Zeppelin 流计算处理最佳实践
0 点赞
0 收藏
3下载
Apache Spark中国技术交流社区
/
发布于
/
52
人观看

章剑锋(简锋)
阿里云 EMR 数据开发平台 负责人

此次课程是继上一节“ Spark 大数据处理最佳实践 ” 课后,大数据最佳实践课程的第二课。主要讲一下 flink 流计算的最佳实践。讲师根据自己多年经验总结的方法论,从 flink 学习框架入手,配合一些非常落地的最佳实践,带你有章法的学习 flink ,摆脱技术小白称号!

展开查看详情

1.Flink on Zeppelin 流计算处理 最佳实践 章剑锋(简锋) 阿里云 开源大数据平台 EMR-Studio Leader

2.Jeff Zhang

3.目录 大数据概览 Flink 学习框架 目录 EMR Studio 上的流计算最佳实践

4.大数据概览 • 大数据处理 ETL (Data  Data) • 大数据分析 BI (Data  Dashboard) • 机器学习 AI (Data  Model)

5.Flink 要点 • Stateful • Time • Flink Architecture • Flink API • Flink Configuration • Flink Log

6.Stateful Why • 流计算的及时性 • 流计算的unbounded When • Window • Join • Pattern How • Statebackend

7.Time • Event time • Processing time • Watermark

8.Flink Architecture

9.Flink API

10.Flink Configuration • Cluster Configuration • Job Configuration • Statebackend • Resource Manager • SQL/Python https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/deployment/config/

11.Flink Log

12.EMR Studio 实践

13.EMR Studio 特性 • 兼容开源组件 • 支持连接多个集群 • 适配多个计算引擎 • 通过界面化的方式进行交互式开发和作业调度 • 适用多种大数据应用场景 • 计算存储分离

14.兼容开源组件 EMR Studio 在开源软件 Apache Zeppelin,Jupyter Notebook, Apache Airflow 的基础上优化了做了 优化和增强。

15.Flink Clients

16.Flink on Zeppelin (Phase 1) - Interactive Flink Client

17.Flink on Zeppelin (Phase 2) - Interactive JobManager

18.Flink on Zeppelin 主要Feature Feature Feature 说明 同时支持 Flink 1.10 到 1.13 的 4 个大版本,并且同时支持Scala-2.11 和Scala- 多版本Flink支持 2.12 支持4种不同Flink运行模式:Local,Remote,Yarn,Yarn-Application,K8s(开 多种运行模式支持 发中) 多语言支持,并且打通多 支持3种Flink开发语言:SQL,Python,Scala,并且打通各个语言之间的协作, 语言间的协作 比如用Python写的UDF可以用在用Scala写的Flink 作业里 支持Hive 内置HiveCatalog 交互式开发模式 交互式的开发模式可以大幅度提高开发效率

19.Flink on Zeppelin 主要Feature Feature Feature 说明 流式数据可视化 支持流式数据的动态可视化展现,方便调试和大屏展示 同时支持Batch ,Streaming 模式,支持单行/多行 SQL 注释,支持指定 SQL 语言功能增强 jobName,并行度,Multiple Insert 除了在Zeppelin页面提交作业,也可以调用Zeppelin的Rest API来提交作业,将 支持Rest API 方式提交Job Zeppelin集成到自己的系统里。 多租户支持 支持多个用户在Zeppelin上开发,互不干扰

20. Demo https://help.aliyun.com/document_detail/208107.html?spm=a2c4g.11186623.6.845.6cfc24577t1RbI

21.

0 点赞
0 收藏
3下载