申请试用
HOT
登录
注册
 
Flink在数据湖场景下的使用
Flink China中文社区
/
发布于
/
3688
人观看
我们对比实时计算Flink批性能以及Flink在数据湖场景下的应用,并分析场景系统构架和场景业务构架,最后展示了维表、原始日志及数仓的字段说明。
展开查看详情

1 .

2 .• • • • • •

3 . Storm Spark Flink Native Micro-Batch Native ( 4.7 /s ) ( ) ( ) ( ) At-Least-Once Exactly-Once Exactly-Once/At-Least-Once API (Low Level) (RDD/DataSet/DataFrame) (TableAPI) Scala/Java Python/Scala/R/Java SQL (Spark Stream SQL) /ANSI SQL /

4 . Hive/Hadoop Spark Flink MR MR(Memory/Disk) Pipeline TB-PB TB-PB TB-PB ( ) ( ) x2 Spark API (MR) (RDD/DataSet/DataFrame) (TableAPI) Python/Scala/R/Java Scala/Java SQL HiveSQL SparkSQL ANSI SQL /

5 .

6 .SQL+UDF

7 .• • • •

8 . / / ADS: ADS: DWD: DWD: ODS: ODS: Kafka Kafka Client Client

9 .

10 .

11 .

12 .

13 .

14 .• • •

15 .• • • • •

15 点赞
9 收藏
10下载
确认
3秒后跳转登录页面
去登陆