确定删除吗?
1. !"#$%·Data Lake Formation 数据湖元数据和多引擎集成 履霜 · 阿⾥巴巴 / 技术专家
2. !"#$%·Data Lake Formation 01 为什么数据湖体系需要统⼀元数据服务 02 CONTENT 数据湖元数据基本功能和服务架构 ⽬录 >> 03 数据湖元数据如何与⼤数据引擎集成 04 数据湖元数据扩展性和未来
3. 01 为什么数据湖体系需要统⼀元数据服务? Apache Flink 中⽂学习⽹站! ververica.cn © Apache Flink Community China 严禁商业⽤途
4. !"#$%·Data Lake Formation 数据湖与数据仓库 !"#$%&'()*&
5. !"#$%·Data Lake Formation 数据湖与数据仓库 !"XY !"# !"&'Z[*\]%- !"&'()*+,%- ./01^ ./012 !"34_` !"3456 !"78ab;<$=>?<$=A !"789:;<$=>?<$=>@< BCcd!"EefghiJj4 $=A CklQRST*`mn2oW= BCD$!"EFGHIJKLMN COPQRST*UQRPVW=
6. !"#$%·Data Lake Formation 数据湖与数据仓库 客户如何才能同时享受数据湖的灵活性和云数据仓库的成 ⻓性?
7. !"#$%·Data Lake Formation 新⼀代数据湖 • pqr$%#st!"uv* wc#sxbt!"view • yjrz{#E./0|XEc}0
8. 02 数据湖元数据的基本功能和服务架构 Apache Flink 中⽂学习⽹站! ververica.cn © Apache Flink Community China 严禁商业⽤途
9. !"#$%·Data Lake Formation 传统数据湖元数据特点 • "#$%&'()* • +,-/.+,//0+,/ • Hive123 • 45Mysql623789&:;<&=>?@AB • CDEF/&G?HIJKLM • 123EFNOAB • P%JQRSTUASchemaJ89V8 • WX(YDeltaLake6Z[\]^_`ab • 123cdef • )gETL&123h/ijGkl
10. !"#$%·Data Lake Formation 数据湖元数据设计 • Cmnopqr + CB=>OTS • stue&:;v&wxCB=>?@ t!"~•-€•‚ • yzEF/&{KLM • 123Catalog Multi Meta Node • |}~•23Hive Catalog • 4€Pt•23Jcatalog +,&'M23 •Jcatalog • Pt123‚ƒJ„…&•†J‡ˆ‰Š‹hiveJ OTS catalog • ‡ˆLMŒ123•Ž • 123EFe? • ••‘?’wx2“QPSJ123”•J–`?@ • —˜™‰ListPartitions6<NOš›œ•ž/ • 123cdeŸ
11. !"#$%·Data Lake Formation 数据湖元数据基本功能 多租户 多级多版本API(50+) ⽀持多租户,租户之间完全隔离 ⽀持表版本 ⽀持Database/Table/Partition/Function 操作 统⼀权限管理 Advanced API ⽀持RAM⼦账号, 资源、API权限 ⽀持对象计量 ⽀持Table/Partition column statistic 统计项 ⽀持Transaction(部分) SDK/OpenAPI 开发/治理 开放的SDK/API⽀持与其他引擎、产品集成 搭配DLF平台/管理套件进⾏元数据管理
12. !"#$%·Data Lake Formation 数据湖元数据基本结构
13. !"#$%·Data Lake Formation 数据湖元数据架构 ƒ„QR EMR MaxCompute Hologres Blink PAI !"#$%& ..…. Meta Read@Write -./0123 '( OpenAPI/SDK )*+, …… OSS 45467/0189+, :; >? View HDFS 4 Catalog Database API A$ < = ……. Table Partition Operation
14. 03 数据湖元数据如何与⼤数据引擎集成 Apache Flink 中⽂学习⽹站! ververica.cn © Apache Flink Community China 严禁商业⽤途
15. !"#$%·Data Lake Formation 与EMR产品集成
16. !"#$%·Data Lake Formation 与EMR集成-计算存储分离 Assumed Role EMR DLF AK Security Agent OSS
17. !"#$%·Data Lake Formation 与EMR集成-⽀持Hive/Spark Spark Hive Presto Presto Plugin IMetaStoreClient HiveMetastore Interface HiveMetaStoreClient DLF[XXX]MetaStoreClient DLFMetaSDK DLFMetaOpenAPI 01B-./01CD
18. !"#$%·Data Lake Formation 与EMR集成-表格式⽀持-Delta Lake 23• A<¡¢£e&GB¤;‘¥;¦c§89X( • G¨JWX(A©ªJ123Y«¬Delta Lake + OSSš›& Delta Lake -®add/replace columnZ ¯°±²³´µ•¶·· • ‡ˆ¸¹]^¦cº123 • OSS»Delta lakeJ123U23•123cde•¶ • 123]^e?•¶ SDK/…B Hive/Spark/… 1@FGHI 2@E01 3@Commit Hook Sync OSS Delta Log !"#t!";Delta TableA ;MetaA
19. !"#$%·Data Lake Formation 引擎集成-数据湖元数据架构 ƒ„QR EMR MaxCompute Hologres Blink PAI !"#$%& ..…. Meta Read@Write -./0123 '( OpenAPI/SDK )*+, …… OSS 45467/0189+, :; >? View HDFS 4 Catalog Database API A$ < = ……. Table Partition Operation
20. 04 数据湖元数据扩展性和未来 Apache Flink 中⽂学习⽹站! ververica.cn © Apache Flink Community China 严禁商业⽤途
21. !"#$%·Data Lake Formation 元数据展望 †‡ˆ‰EQR • MaxCompute/Flink/ImpalaŠ 9:‹Œ • •Ž+•€• • 2•‘0t!"†‡ • †‡’l“t!"-” • Fine-Grained Access Control • ˆ2E0Œ
22. !"#$%·Data Lake Formation ••!"#$%–—˜™šš› pœ!"#•žŸ ¡¢£