申请试用
HOT
登录
注册
 
数据湖元数据和多引擎集成(履霜)
1 点赞
1 收藏
0下载
Apache Spark中国技术交流社区
/
发布于
/
410
人观看

第三课
数据湖元数据和多引擎集成
讲师:熊佳树,花名履霜,阿里巴巴技术专家

介绍:本节课着重介绍数据湖元数据服务如何通过构建统一元数据视图,解决计算引擎、数据种类多样性环境下产生的数据孤岛和数据治理问题。

展开查看详情

1. !"#$%·Data Lake Formation 数据湖元数据和多引擎集成 履霜 · 阿⾥巴巴 / 技术专家

2. !"#$%·Data Lake Formation 01 为什么数据湖体系需要统⼀元数据服务 02 CONTENT 数据湖元数据基本功能和服务架构 ⽬录 >> 03 数据湖元数据如何与⼤数据引擎集成 04 数据湖元数据扩展性和未来

3. 01 为什么数据湖体系需要统⼀元数据服务? Apache Flink 中⽂学习⽹站! ververica.cn © Apache Flink Community China 严禁商业⽤途

4. !"#$%·Data Lake Formation 数据湖与数据仓库 !"#$%&'()*&

5. !"#$%·Data Lake Formation 数据湖与数据仓库 !"XY !"# !"&'Z[*\]%- !"&'()*+,%- ./01^ ./012 !"34_` !"3456 !"78ab;<$=>?<$=A !"789:;<$=>?<$=>@< BCcd!"EefghiJj4 $=A CklQRST*`mn2oW= BCD$!"EFGHIJKLMN COPQRST*UQRPVW=

6. !"#$%·Data Lake Formation 数据湖与数据仓库 客户如何才能同时享受数据湖的灵活性和云数据仓库的成 ⻓性?

7. !"#$%·Data Lake Formation 新⼀代数据湖 • pqr$%#st!"uv* wc#sxbt!"view • yjrz{#E./0|XEc}0

8. 02 数据湖元数据的基本功能和服务架构 Apache Flink 中⽂学习⽹站! ververica.cn © Apache Flink Community China 严禁商业⽤途

9. !"#$%·Data Lake Formation 传统数据湖元数据特点 • "#$%&'()* • +,-/.+,//0+,/ • Hive123 • 45Mysql623789&:;<&=>?@AB • CDEF/&G?HIJKLM • 123EFNOAB • P%JQRSTUASchemaJ89V8 • WX(YDeltaLake6Z[\]^_`ab • 123cdef • )gETL&123h/ijGkl

10. !"#$%·Data Lake Formation 数据湖元数据设计 • Cmnopqr + CB=>OTS • stue&:;v&wxCB=>?@ t!"~•-€•‚ • yzEF/&{KLM • 123Catalog Multi Meta Node • |}~•23Hive Catalog • 4€Pt•23Jcatalog +,&'M23 •Jcatalog • Pt123‚ƒJ„…&•†J‡ˆ‰Š‹hiveJ OTS catalog • ‡ˆLMŒ123•Ž • 123EFe? • ••‘?’wx2“QPSJ123”•J–`?@ • —˜™‰ListPartitions6<NOš›œ•ž/ • 123cdeŸ

11. !"#$%·Data Lake Formation 数据湖元数据基本功能 多租户 多级多版本API(50+) ⽀持多租户,租户之间完全隔离 ⽀持表版本 ⽀持Database/Table/Partition/Function 操作 统⼀权限管理 Advanced API ⽀持RAM⼦账号, 资源、API权限 ⽀持对象计量 ⽀持Table/Partition column statistic 统计项 ⽀持Transaction(部分) SDK/OpenAPI 开发/治理 开放的SDK/API⽀持与其他引擎、产品集成 搭配DLF平台/管理套件进⾏元数据管理

12. !"#$%·Data Lake Formation 数据湖元数据基本结构

13. !"#$%·Data Lake Formation 数据湖元数据架构 ƒ„QR EMR MaxCompute Hologres Blink PAI !"#$%& ..…. Meta Read@Write -./0123 '( OpenAPI/SDK )*+, …… OSS 45467/0189+, :; >? View HDFS 4 Catalog Database API A$ < = ……. Table Partition Operation

14. 03 数据湖元数据如何与⼤数据引擎集成 Apache Flink 中⽂学习⽹站! ververica.cn © Apache Flink Community China 严禁商业⽤途

15. !"#$%·Data Lake Formation 与EMR产品集成

16. !"#$%·Data Lake Formation 与EMR集成-计算存储分离 Assumed Role EMR DLF AK Security Agent OSS

17. !"#$%·Data Lake Formation 与EMR集成-⽀持Hive/Spark Spark Hive Presto Presto Plugin IMetaStoreClient HiveMetastore Interface HiveMetaStoreClient DLF[XXX]MetaStoreClient DLFMetaSDK DLFMetaOpenAPI 01B-./01CD

18. !"#$%·Data Lake Formation 与EMR集成-表格式⽀持-Delta Lake 23• A<¡¢£e&GB¤;‘¥;¦c§89X( • G¨JWX(A©ªJ123Y«¬Delta Lake + OSSš›& Delta Lake -®add/replace columnZ ¯°±²³´µ•¶·· • ‡ˆ¸¹]^¦cº123 • OSS»Delta lakeJ123U23•123cde•¶ • 123]^e?•¶ SDK/…B Hive/Spark/… 1@FGHI 2@E01 3@Commit Hook Sync OSS Delta Log !"#t!";Delta TableA ;MetaA

19. !"#$%·Data Lake Formation 引擎集成-数据湖元数据架构 ƒ„QR EMR MaxCompute Hologres Blink PAI !"#$%& ..…. Meta Read@Write -./0123 '( OpenAPI/SDK )*+, …… OSS 45467/0189+, :; >? View HDFS 4 Catalog Database API A$ < = ……. Table Partition Operation

20. 04 数据湖元数据扩展性和未来 Apache Flink 中⽂学习⽹站! ververica.cn © Apache Flink Community China 严禁商业⽤途

21. !"#$%·Data Lake Formation 元数据展望 †‡ˆ‰EQR • MaxCompute/Flink/ImpalaŠ 9:‹Œ • •Ž+•€• • 2•‘0t!"†‡ • †‡’l“t!"-” • Fine-Grained Access Control • ˆ2E0Œ

22. !"#$%·Data Lake Formation ••!"#$%–—˜™šš› pœ!"#•žŸ ¡¢£

1 点赞
1 收藏
0下载