深入理解 Pulsar Functions

发布于

3933

人观看

Apache Pulsar 是云原生新一代的消息系统和实时处理平台。消息系统和实时计算平台关系紧密，但部署和管理却很松散。Pulsar Functions 作为 Pulsar 的计算组件，是消息和计算平台在 Serverless 方向的一个融合和创新。 Pulsar Functions 提供了 Go、Python、Java 等多语言的支持，以及 Thread、Process、Kubernetes 等运行时。这为用户编写、运行和部署 Functions 提供了很好的灵活性。让用户只需关心真正计算的逻辑，无需进行复杂的配置或管理；更便捷地构建基于消息触发的流平台。

展开查看详情

1 .深⼊入理理解 Pulsar Functions A lightweight compute framework for Pulsar 2019/05/11 冉⼩小⻰龙

2 . ⽬目录 • Pulsar Function 介绍 • Pulsar Function 使⽤用场景 • Java、 Python、 Go Function 的部署以及使⽤用 • Pulsar Function Debug • Pulsar Function 语义介绍 • Pulsar Function runtime • Pulsar Function worker • Pulsar Function 的未来（组合 Function）

3 .Apache Pulsar

4 .计算架构的演进

5 .

6 .

7 .

8 .Why Pulsar Functions? • 部署简单 • Simple standalone applications vs system managed applications • 接⼝口简单 • Method/Procedure/Function • Multi Language API • Scale developers • 流原⽣生 • Input/Output/Log as topics

9 . Pulsar Function 架构(⼀一) • Source • DB • Mysql • Pg • Mongo • Log • Flume • Log stash • Beats • MQ • Sink • Hive • ES • MQ • DB • Function

10 . Pulsar Function 架构（⼆二） y = f (x)

11 . Pulsar Function 执⾏行行流程 Setup producer 1 Setup consumer Setup LogHandler 2 Handler Message Process Result 3 Close Resource

12 . Pulsar Function 使⽤用场景 • ETL • Data Enrichment • Data Filtering • Dynamic Routing • Alerts and Threholds

13 .Pulsar Function Context

14 .Dynamic Routing

15 .Dynamic Routing

16 .Message Filtering

17 .Message Filtering

18 .Transformation

19 . Transformation Projection

20 . Transformation Split

21 . Transformation Split

22 .Data Enrichment

23 .Alert and Thresholds

24 .Alert and Thresholds

25 . Pulsar Function SDK • Java Function • Python Function • Go Function • So on

26 .How does Pulsar Functions work? • LocalRun mode • 适合开发者 • Cluster mode • 适合于⽣生产环境

27 .Pulsar Function CLI

28 . Java Function Example（⼀一） Demo： Start：

29 . Python Function Example Demo： Start：

0 点赞

0 收藏

16下载