我们对比实时计算Flink批性能以及Flink在数据湖场景下的应用,并分析场景系统构架和场景业务构架,最后展示了维表、原始日志及数仓的字段说明。

注脚

展开查看详情

1.

2.• • • • • •

3. Storm Spark Flink Native Micro-Batch Native ( 4.7 /s ) ( ) ( ) ( ) At-Least-Once Exactly-Once Exactly-Once/At-Least-Once API (Low Level) (RDD/DataSet/DataFrame) (TableAPI) Scala/Java Python/Scala/R/Java SQL (Spark Stream SQL) /ANSI SQL /

4. Hive/Hadoop Spark Flink MR MR(Memory/Disk) Pipeline TB-PB TB-PB TB-PB ( ) ( ) x2 Spark API (MR) (RDD/DataSet/DataFrame) (TableAPI) Python/Scala/R/Java Scala/Java SQL HiveSQL SparkSQL ANSI SQL /

5.

6.SQL+UDF

7.• • • •

8. / / ADS: ADS: DWD: DWD: ODS: ODS: Kafka Kafka Client Client

9.

10.

11.

12.

13.

14.• • •

15.• • • • •

user picture
Apache Flink China中文社区,致力于Flink技术在中国的推广与传播。

相关文档