申请试用
HOT
登录
注册
 
Flink在数据湖场景下的使用
15 点赞
8 收藏
9下载
Flink China中文社区
/
发布于
/
3350
人观看
我们对比实时计算Flink批性能以及Flink在数据湖场景下的应用,并分析场景系统构架和场景业务构架,最后展示了维表、原始日志及数仓的字段说明。
展开查看详情

1.

2.• • • • • •

3. Storm Spark Flink Native Micro-Batch Native ( 4.7 /s ) ( ) ( ) ( ) At-Least-Once Exactly-Once Exactly-Once/At-Least-Once API (Low Level) (RDD/DataSet/DataFrame) (TableAPI) Scala/Java Python/Scala/R/Java SQL (Spark Stream SQL) /ANSI SQL /

4. Hive/Hadoop Spark Flink MR MR(Memory/Disk) Pipeline TB-PB TB-PB TB-PB ( ) ( ) x2 Spark API (MR) (RDD/DataSet/DataFrame) (TableAPI) Python/Scala/R/Java Scala/Java SQL HiveSQL SparkSQL ANSI SQL /

5.

6.SQL+UDF

7.• • • •

8. / / ADS: ADS: DWD: DWD: ODS: ODS: Kafka Kafka Client Client

9.

10.

11.

12.

13.

14.• • •

15.• • • • •

15 点赞
8 收藏
9下载