数据湖元数据和多引擎集成（履霜）

1 . !"#$%·Data Lake Formation 数据湖元数据和多引擎集成 履霜 · 阿⾥巴巴 / 技术专家 

2 . !"#$%·Data Lake Formation 01 为什么数据湖体系需要统⼀元数据服务 02 CONTENT 数据湖元数据基本功能和服务架构 ⽬录 >> 03 数据湖元数据如何与⼤数据引擎集成 04 数据湖元数据扩展性和未来 

3 . 01 为什么数据湖体系需要统⼀元数据服务？ Apache Flink 中⽂学习⽹站! ververica.cn © Apache Flink Community China 严禁商业⽤途 

4 . !"#$%·Data Lake Formation 数据湖与数据仓库 !"#$%&'()*& 

5 . !"#$%·Data Lake Formation 数据湖与数据仓库 !"XY !"# !"&'Z[*\]%- !"&'()*+,%- ./01^ ./012 !"34_` !"3456 !"78ab;<$=>?<$=A !"789:;<$=>?<$=>@< BCcd!"EefghiJj4 $=A CklQRST*`mn2oW= BCD$!"EFGHIJKLMN COPQRST*UQRPVW= 

6 . !"#$%·Data Lake Formation 数据湖与数据仓库 客户如何才能同时享受数据湖的灵活性和云数据仓库的成 ⻓性？ 

7 . !"#$%·Data Lake Formation 新⼀代数据湖 • pqr$%#st!"uv* wc#sxbt!"view • yjrz{#E./0|XEc}0 

8 . 02 数据湖元数据的基本功能和服务架构 Apache Flink 中⽂学习⽹站! ververica.cn © Apache Flink Community China 严禁商业⽤途 

9 . !"#$%·Data Lake Formation 传统数据湖元数据特点 • "#$%&'()* • +,-/.+,//0+,/ • Hive123 • 45Mysql623789&:;<&=>?@AB • CDEF/&G?HIJKLM • 123EFNOAB • P%JQRSTUASchemaJ89V8 • WX(YDeltaLake6Z[\]^_`ab • 123cdef • )gETL&123h/ijGkl 

10 . !"#$%·Data Lake Formation 数据湖元数据设计 • Cmnopqr + CB=>OTS • stue&:;v&wxCB=>?@ t!"~•-€•‚ • yzEF/&{KLM • 123Catalog Multi Meta Node • |}~•23Hive Catalog • 4€Pt•23Jcatalog +,&'M23 •Jcatalog • Pt123‚ƒJ„…&•†J‡ˆ‰Š‹hiveJ OTS catalog • ‡ˆLMŒ123•Ž • 123EFe? • ••‘?’wx2“QPSJ123”•J–`?@ • —˜™‰ListPartitions6<NOš›œ•ž/ • 123cdeŸ 

11 . !"#$%·Data Lake Formation 数据湖元数据基本功能 多租户 多级多版本API（50+） ⽀持多租户，租户之间完全隔离 ⽀持表版本 ⽀持Database/Table/Partition/Function 操作 统⼀权限管理 Advanced API ⽀持RAM⼦账号， 资源、API权限 ⽀持对象计量 ⽀持Table/Partition column statistic 统计项 ⽀持Transaction（部分） SDK/OpenAPI 开发/治理 开放的SDK/API⽀持与其他引擎、产品集成 搭配DLF平台/管理套件进⾏元数据管理 

12 . !"#$%·Data Lake Formation 数据湖元数据基本结构 

13 . !"#$%·Data Lake Formation 数据湖元数据架构 ƒ„QR EMR MaxCompute Hologres Blink PAI !"#$%& ..…. Meta Read@Write -./0123 '( OpenAPI/SDK )*+, …… OSS 45467/0189+, :; >? View HDFS 4 Catalog Database API A$ < = ……. Table Partition Operation 

14 . 03 数据湖元数据如何与⼤数据引擎集成 Apache Flink 中⽂学习⽹站! ververica.cn © Apache Flink Community China 严禁商业⽤途 

15 . !"#$%·Data Lake Formation 与EMR产品集成 

16 . !"#$%·Data Lake Formation 与EMR集成-计算存储分离 Assumed Role EMR DLF AK Security Agent OSS 

17 . !"#$%·Data Lake Formation 与EMR集成-⽀持Hive/Spark Spark Hive Presto Presto Plugin IMetaStoreClient HiveMetastore Interface HiveMetaStoreClient DLF[XXX]MetaStoreClient DLFMetaSDK DLFMetaOpenAPI 01B-./01CD 

18 . !"#$%·Data Lake Formation 与EMR集成-表格式⽀持-Delta Lake 23• A<¡¢£e&GB¤;‘¥;¦c§89X( • G¨JWX(A©ªJ123Y«¬Delta Lake + OSSš›& Delta Lake -®add/replace columnZ ¯°±²³´µ•¶·· • ‡ˆ¸¹]^¦cº123 • OSS»Delta lakeJ123U23•123cde•¶ • 123]^e?•¶ SDK/…B Hive/Spark/… 1@FGHI 2@E01 3@Commit Hook Sync OSS Delta Log !"#t!";Delta TableA ;MetaA 

19 . !"#$%·Data Lake Formation 引擎集成-数据湖元数据架构 ƒ„QR EMR MaxCompute Hologres Blink PAI !"#$%& ..…. Meta Read@Write -./0123 '( OpenAPI/SDK )*+, …… OSS 45467/0189+, :; >? View HDFS 4 Catalog Database API A$ < = ……. Table Partition Operation 

20 . 04 数据湖元数据扩展性和未来 Apache Flink 中⽂学习⽹站! ververica.cn © Apache Flink Community China 严禁商业⽤途 

21 . !"#$%·Data Lake Formation 元数据展望 †‡ˆ‰EQR • MaxCompute/Flink/ImpalaŠ 9:‹Œ • •Ž+•€• • 2•‘0t!"†‡ • †‡’l“t!"-” • Fine-Grained Access Control • ˆ2E0Œ 

22 . !"#$%·Data Lake Formation ••!"#$%–—˜™šš› pœ!"#•žŸ ¡¢£