展开查看详情
1. !"#$%·Data Lake Formation
数据湖元数据和多引擎集成
履霜 · 阿⾥巴巴 / 技术专家
2. !"#$%·Data Lake Formation
01
为什么数据湖体系需要统⼀元数据服务
02
CONTENT
数据湖元数据基本功能和服务架构
⽬录 >> 03
数据湖元数据如何与⼤数据引擎集成
04
数据湖元数据扩展性和未来
3. 01
为什么数据湖体系需要统⼀元数据服务？
Apache Flink 中⽂学习⽹站! ververica.cn
© Apache Flink Community China 严禁商业⽤途
4. !"#$%·Data Lake Formation
数据湖与数据仓库
!"#$%&'()*&
5. !"#$%·Data Lake Formation
数据湖与数据仓库
!"XY !"#
!"&'Z[*\]%- !"&'()*+,%-
./01^ ./012
!"34_` !"3456
!"78ab;<$=>?<$=A !"789:;<$=>?<$=>@<
BCcd!"EefghiJj4 $=A
CklQRST*`mn2oW= BCD$!"EFGHIJKLMN
COPQRST*UQRPVW=
6. !"#$%·Data Lake Formation
数据湖与数据仓库
客户如何才能同时享受数据湖的灵活性和云数据仓库的成
⻓性？
7. !"#$%·Data Lake Formation
新⼀代数据湖
• pqr$%#st!"uv*
wc#sxbt!"view
• yjrz{#E./0|XEc}0
8. 02
数据湖元数据的基本功能和服务架构
Apache Flink 中⽂学习⽹站! ververica.cn
© Apache Flink Community China 严禁商业⽤途
9. !"#$%·Data Lake Formation
传统数据湖元数据特点
• "#$%&'()*
• +,-/.+,//0+,/
• Hive123
• 45Mysql623789&:;<&=>?@AB
• CDEF/&G?HIJKLM
• 123EFNOAB
• P%JQRSTUASchemaJ89V8
• WX(YDeltaLake6Z[\]^_`ab
• 123cdef
• )gETL&123h/ijGkl
10. !"#$%·Data Lake Formation
数据湖元数据设计
• Cmnopqr + CB=>OTS
• stue&:;v&wxCB=>?@ t!"~•-€•‚
• yzEF/&{KLM
• 123Catalog Multi Meta Node
• |}~•23Hive Catalog
• 4€Pt•23Jcatalog +,&'M23
•Jcatalog
• Pt123‚ƒJ„…&•†J‡ˆ‰Š‹hiveJ
OTS
catalog
• ‡ˆLMŒ123•Ž
• 123EFe?
• ••‘?’wx2“QPSJ123”•J–`?@
• —˜™‰ListPartitions6<NOš›œ•ž/
• 123cdeŸ
11. !"#$%·Data Lake Formation
数据湖元数据基本功能
多租户 多级多版本API（50+）
⽀持多租户，租户之间完全隔离 ⽀持表版本
⽀持Database/Table/Partition/Function 操作
统⼀权限管理 Advanced API
⽀持RAM⼦账号， 资源、API权限 ⽀持对象计量
⽀持Table/Partition column statistic 统计项
⽀持Transaction（部分）
SDK/OpenAPI 开发/治理
开放的SDK/API⽀持与其他引擎、产品集成 搭配DLF平台/管理套件进⾏元数据管理
12. !"#$%·Data Lake Formation
数据湖元数据基本结构
13. !"#$%·Data Lake Formation
数据湖元数据架构
ƒ„QR
EMR MaxCompute Hologres Blink PAI !"#$%& ..….
Meta Read@Write
-./0123 '( OpenAPI/SDK )*+, …… OSS
45467/0189+, :; >? View HDFS
4
Catalog Database API A$ <
= …….
Table Partition Operation
14. 03
数据湖元数据如何与⼤数据引擎集成
Apache Flink 中⽂学习⽹站! ververica.cn
© Apache Flink Community China 严禁商业⽤途
15. !"#$%·Data Lake Formation
与EMR产品集成
16. !"#$%·Data Lake Formation
与EMR集成-计算存储分离
Assumed Role
EMR DLF
AK
Security Agent OSS
17. !"#$%·Data Lake Formation
与EMR集成-⽀持Hive/Spark
Spark Hive Presto
Presto Plugin
IMetaStoreClient HiveMetastore Interface
HiveMetaStoreClient DLF[XXX]MetaStoreClient
DLFMetaSDK
DLFMetaOpenAPI
01B-./01CD
18. !"#$%·Data Lake Formation
与EMR集成-表格式⽀持-Delta Lake
23• A<¡¢£e&GB¤;‘¥;¦c§89X(
• G¨JWX(A©ªJ123Y«¬Delta Lake + OSSš›& Delta Lake -®add/replace columnZ
¯°±²³´µ•¶··
• ‡ˆ¸¹]^¦cº123
• OSS»Delta lakeJ123U23•123cde•¶
• 123]^e?•¶
SDK/…B Hive/Spark/…
1@FGHI 2@E01
3@Commit Hook Sync
OSS Delta Log
!"#t!";Delta TableA
;MetaA
19. !"#$%·Data Lake Formation
引擎集成-数据湖元数据架构
ƒ„QR
EMR MaxCompute Hologres Blink PAI !"#$%& ..….
Meta Read@Write
-./0123 '( OpenAPI/SDK )*+, …… OSS
45467/0189+, :; >? View HDFS
4
Catalog Database API A$ <
= …….
Table Partition Operation
20. 04
数据湖元数据扩展性和未来
Apache Flink 中⽂学习⽹站! ververica.cn
© Apache Flink Community China 严禁商业⽤途
21. !"#$%·Data Lake Formation
元数据展望
†‡ˆ‰EQR
• MaxCompute/Flink/ImpalaŠ
9:‹Œ
• •Ž+•€•
• 2•‘0t!"†‡
• †‡’l“t!"-”
• Fine-Grained Access Control
• ˆ2E0Œ
22. !"#$%·Data Lake Formation
••!"#$%–—˜™šš› pœ!"#•žŸ ¡¢£
