Flink在数据湖场景下的使用

下载 10

Flink China中文社区

发布于

3988

人观看

#信息技术

我们对比实时计算Flink批性能以及Flink在数据湖场景下的应用，并分析场景系统构架和场景业务构架，最后展示了维表、原始日志及数仓的字段说明。

展开查看详情

1 .

2 .• • • • • •

3 . Storm Spark Flink Native Micro-Batch Native ( 4.7 /s ) ( ) ( ) ( ) At-Least-Once Exactly-Once Exactly-Once/At-Least-Once API (Low Level) (RDD/DataSet/DataFrame) (TableAPI) Scala/Java Python/Scala/R/Java SQL (Spark Stream SQL) /ANSI SQL /

4 . Hive/Hadoop Spark Flink MR MR(Memory/Disk) Pipeline TB-PB TB-PB TB-PB ( ) ( ) x2 Spark API (MR) (RDD/DataSet/DataFrame) (TableAPI) Python/Scala/R/Java Scala/Java SQL HiveSQL SparkSQL ANSI SQL /

5 .

6 .SQL+UDF

7 .• • • •

8 . / / ADS: ADS: DWD: DWD: ODS: ODS: Kafka Kafka Client Client

9 .

10 .

11 .

12 .

13 .

14 .• • •

15 .• • • • •

15点赞

11收藏

10下载