深入理解 Pulsar 跨地域复制：GEO-Replication

发布于

6107

人观看

在大型的分布式系统中，都会涉及到跨多个数据中心的需求。在对服务质量和灾备要求更高的场景中，会规划将机房部署在地理位置分散的多个数据中心内。在此类多数据中心部署中，通常会使用跨地域复制机制提供额外的冗余，以防某个数据中心故障、自然侵害或其他事件导致服务无法正常运作。 Apache Pulsar 在设计之初就加入了对 Yahoo 全球十多个机房的跨地域复制的需求。Apache Pulsar 的跨地域多机房互备特性是 Pulsar 企业级特性的重要组成部分，它在保证数据稳定可靠的同时，为用户提供了便捷的操作和管理。本次分享中，翟佳会给大家详细讲解 Pulsar 跨地域复制的原理、使用场景和相关实践。

展开查看详情

1 .Geo-Replication 翟佳

2 .⾃自我介绍 • 开源项⽬目爱好者： • Pulsar, BookKeeper, DistributedLog的Committer & PMC成员 • EMC -> StreamNative • StreamNative Core Engineer • 华中科⼤大 -> 中科院计算所

3 .• Pulsar 简介 • Pulsar Geo-Replication概览 • ⼯工作原理理 • 管理理和实践 • ⼯工作模式

4 .Apache Pulsar是什什么 2003 2010 2012 2006 2011

5 . Apache Pulsar是什什么 “Flexible Pub/Sub messaging backed by durable log/stream storage”

6 .Pulsar统⼀一模型队列列 + 流

7 .存储和服务分离分层架构: Brokers & Bookies • 独⽴立扩展 • 灵活容错 • 快速扩容

8 .企业级特性

9 .• Pulsar 简介 • Pulsar Geo-Replication概览 • ⼯工作原理理 • 管理理和实践 • ⼯工作模式

10 .概念：同步/异步

11 .Pulsar集群 ZooKeeper

12 .Pulsar多集群 ConfigStore ZooKeeper Brokers Brokers Brokers ZooKeeper ZooKeeper ZooKeeper BookKeeper BookKeeper BookKeeper

13 .Pulsar的Geo-replication Beijing Shanghai Producer Producer (P1) Topic (T1) Topic (T1) (P2) Consumer Subscrip/on (S1) Subscrip/on (S1) Consumer (C1) (C2) Broker原⽣生 Producer Topic (T1) Pub/Sub⼀一体 (P3) 管理理简单 Guangzhou 配置灵活

14 .• Pulsar 简介 • Pulsar Geo-Replication概览 • ⼯工作原理理 • 管理理和实践 • ⼯工作模式

15 .• ⼯工作原理理 • 数据通路路 • 元数据

16 .原理理 Beijing Shanghai Producer Producer (P1) Topic (T1) Topic (T1) (P2) Consumer Subscrip/on (S1) Subscrip/on (S1) Consumer (C1) (C2) Producer Topic (T1) (P3) Guangzhou

17 .Topic

18 .Producer, Consumer Producer Consumer

19 .订阅

20 .订阅 — Cursor Broker Subscription1 Producer Topic … Write Ack Subscription Consumer readEntries ManagedLedger + Cursor Ack/N-Ack 1 2 3 4 5 6 7 1 2 3 4 5 6 7 -/+ BookKeeper 1 2 3 4 5 6 7 A B C D E Ledger stores Data Ledger stores Cursor changes

21 .机房间数据通路路 Beijing Replicator 1 Producer Topic1 2 Cursor 1 2 3 4 5 6 7 3 Consumer Subscription Producer 4.1 4 Replicator Cursor Topic1 Producer 1 2 3 4 5 6 7 5 6 Consumer Subscription Producer Shanghai

22 .• ⼯工作原理理 • 数据通路路 • 元数据

23 .ZooKeeper ZooKeeper ConfigStore Beijing Shanghai Guangzhou Brokers Brokers Brokers ZooKeeper ZooKeeper ZooKeeper BookKeeper BookKeeper BookKeeper

24 .Configuration Storage

25 .ZooKeeper

26 .多租户

27 .原理理⼩小结 Beijing Shanghai Producer Producer (P1) Topic (T1) Topic (T1) (P2) Consumer Subscrip/on (S1) Subscrip/on (S1) Consumer (C1) (C2) Producer Topic (T1) (P3) Guangzhou

28 .• 跨地域复制 • 管理理，backlog, dispatch

29 .• Pulsar 简介 • Pulsar Geo-Replication概览 • ⼯工作原理理 • 管理理和实践 • ⼯工作模式

0 点赞

2 收藏

23下载