深入理解 Pulsar Functions

0 点赞

0 收藏

15下载

StreamNative

发布于

3835

人观看

信息技术

Apache Pulsar 是云原生新一代的消息系统和实时处理平台。消息系统和实时计算平台关系紧密，但部署和管理却很松散。Pulsar Functions 作为 Pulsar 的计算组件，是消息和计算平台在 Serverless 方向的一个融合和创新。 Pulsar Functions 提供了 Go、Python、Java 等多语言的支持，以及 Thread、Process、Kubernetes 等运行时。这为用户编写、运行和部署 Functions 提供了很好的灵活性。让用户只需关心真正计算的逻辑，无需进行复杂的配置或管理；更便捷地构建基于消息触发的流平台。

展开查看详情

1.深⼊入理理解 Pulsar Functions A lightweight compute framework for Pulsar 2019/05/11 冉⼩小⻰龙

2. ⽬目录 • Pulsar Function 介绍 • Pulsar Function 使⽤用场景 • Java、 Python、 Go Function 的部署以及使⽤用 • Pulsar Function Debug • Pulsar Function 语义介绍 • Pulsar Function runtime • Pulsar Function worker • Pulsar Function 的未来（组合 Function）

3.Apache Pulsar

4.计算架构的演进

8.Why Pulsar Functions? • 部署简单 • Simple standalone applications vs system managed applications • 接⼝口简单 • Method/Procedure/Function • Multi Language API • Scale developers • 流原⽣生 • Input/Output/Log as topics

9. Pulsar Function 架构(⼀一) • Source • DB • Mysql • Pg • Mongo • Log • Flume • Log stash • Beats • MQ • Sink • Hive • ES • MQ • DB • Function

10. Pulsar Function 架构（⼆二） y = f (x)

11. Pulsar Function 执⾏行行流程 Setup producer 1 Setup consumer Setup LogHandler 2 Handler Message Process Result 3 Close Resource

12. Pulsar Function 使⽤用场景 • ETL • Data Enrichment • Data Filtering • Dynamic Routing • Alerts and Threholds

13.Pulsar Function Context

14.Dynamic Routing

15.Dynamic Routing

16.Message Filtering

17.Message Filtering

18.Transformation

19. Transformation Projection

20. Transformation Split

21. Transformation Split

22.Data Enrichment

23.Alert and Thresholds

24.Alert and Thresholds

25. Pulsar Function SDK • Java Function • Python Function • Go Function • So on

26.How does Pulsar Functions work? • LocalRun mode • 适合开发者 • Cluster mode • 适合于⽣生产环境

27.Pulsar Function CLI

28. Java Function Example（⼀一） Demo： Start：

29. Python Function Example Demo： Start：

0 点赞

0 收藏

15下载