深入理解 Pulsar 跨地域复制：GEO-Replication
分享
点赞
0
收藏
4
下载 45
-
快召唤伙伴们来围观吧
-
微博
QQ
QQ空间
贴吧
-
文档嵌入链接
- <iframe src="https://www.slidestalk.com/ApachePulsar/Georeplication?embed" frame border="0" width="640" height="360" scrolling="no" allowfullscreen="true">复制
-
-
微信扫一扫分享
-
已成功复制到剪贴板
在大型的分布式系统中，都会涉及到跨多个数据中心的需求。在对服务质量和灾备要求更高的场景中，会规划将机房部署在地理位置分散的多个数据中心内。在此类多数据中心部署中，通常会使用跨地域复制机制提供额外的冗余，以防某个数据中心故障、自然侵害或其他事件导致服务无法正常运作。
Apache Pulsar 在设计之初就加入了对 Yahoo 全球十多个机房的跨地域复制的需求。Apache Pulsar 的跨地域多机房互备特性是 Pulsar 企业级特性的重要组成部分，它在保证数据稳定可靠的同时，为用户提供了便捷的操作和管理。
本次分享中，翟佳会给大家详细讲解 Pulsar 跨地域复制的原理、使用场景和相关实践。
展开查看详情
2 .⾃自我介绍
• 开源项⽬目爱好者：
• Pulsar, BookKeeper, DistributedLog的Committer & PMC成员
• EMC -> StreamNative
• StreamNative Core Engineer
• 华中科⼤大 -> 中科院计算所
3 .• Pulsar 简介
• Pulsar Geo-Replication概览
• ⼯工作原理理
• 管理理和实践
• ⼯工作模式
4 .Apache Pulsar是什什么
2003 2010 2012
2006 2011
5 . Apache Pulsar是什什么
“Flexible Pub/Sub
messaging
backed by durable
log/stream storage”
7 .存储和服务分离
分层架构:
Brokers & Bookies
• 独⽴立扩展
• 灵活容错
• 快速扩容
9 .• Pulsar 简介
• Pulsar Geo-Replication概览
• ⼯工作原理理
• 管理理和实践
• ⼯工作模式
12 .Pulsar多集群
ConfigStore
ZooKeeper
Brokers Brokers Brokers
ZooKeeper ZooKeeper ZooKeeper
BookKeeper BookKeeper BookKeeper
13 .Pulsar的Geo-replication
Beijing Shanghai
Producer Producer
(P1) Topic (T1) Topic (T1) (P2)
Consumer Subscrip/on (S1) Subscrip/on (S1) Consumer
(C1) (C2)
Broker原⽣生
Producer Topic (T1) Pub/Sub⼀一体
(P3)
管理理简单
Guangzhou
配置灵活
14 .• Pulsar 简介
• Pulsar Geo-Replication概览
• ⼯工作原理理
• 管理理和实践
• ⼯工作模式
15 .• ⼯工作原理理
• 数据通路路
• 元数据
16 .原理理
Beijing Shanghai
Producer Producer
(P1) Topic (T1) Topic (T1) (P2)
Consumer Subscrip/on (S1) Subscrip/on (S1) Consumer
(C1) (C2)
Producer Topic (T1)
(P3)
Guangzhou
18 .Producer, Consumer
Producer
Consumer
20 .订阅 — Cursor
Broker Subscription1
Producer Topic …
Write Ack Subscription Consumer
readEntries
ManagedLedger + Cursor
Ack/N-Ack
1 2 3 4 5 6 7 1 2 3 4 5 6 7 -/+
BookKeeper
1 2 3 4 5 6 7 A B C D E
Ledger stores Data Ledger stores Cursor changes
21 .机房间数据通路路
Beijing Replicator
1
Producer Topic1 2 Cursor
1 2 3 4 5 6 7
3
Consumer Subscription
Producer
4.1
4
Replicator
Cursor Topic1 Producer
1 2 3 4 5 6 7
5
6 Consumer
Subscription
Producer
Shanghai
22 .• ⼯工作原理理
• 数据通路路
• 元数据
23 .ZooKeeper
ZooKeeper
ConfigStore
Beijing Shanghai Guangzhou
Brokers Brokers Brokers
ZooKeeper ZooKeeper ZooKeeper
BookKeeper BookKeeper BookKeeper
24 .Configuration Storage
27 .原理理⼩小结
Beijing Shanghai
Producer Producer
(P1) Topic (T1) Topic (T1) (P2)
Consumer Subscrip/on (S1) Subscrip/on (S1) Consumer
(C1) (C2)
Producer Topic (T1)
(P3)
Guangzhou
28 .• 跨地域复制
• 管理理，backlog, dispatch
29 .• Pulsar 简介
• Pulsar Geo-Replication概览
• ⼯工作原理理
• 管理理和实践
• ⼯工作模式
热门城市
