Apache pulsar 在腾讯计费跨城场景下的应用

展开查看详情

1.Pulsar在腾讯计费跨城场景下的应用 刘德志 腾讯后台开发高级工程师 TEG技术工程事业群 | 计费系统开发者

2.目录 1、腾讯计费介绍 2、腾讯计费场景下跨城挑战 3、Pulsar 跨城能力 4、腾讯计费在跨城上的优化 5、总结

3.腾讯计费平台- 孵化于支撑腾讯内部业务千亿级营收的互联网交易平台。

4.腾讯计费平台-容灾能力 城市级故障容灾 低时延 灵活调度 数据 可用性 性能 一致性

5.

6.异地多活是难题 深圳(主城) 上海(备城) BUSINESS- SVR BUSINESS- SVR 异地单活模型(严格) 只读请求 主城提供读写服务; TDSQL A 主城读写 异地读写请求转发至主城 ... TDSQL 只读 异步复制 C 异地单活模型(宽松) B 主城提供读写服务; ... 异地提供本地延迟读,写请求转发至主 城 异地多活模型(严格) 每个城市全量数据; 每个城市各自承担部分数据的读写服务 异地多活模型(宽松) 每个城市全量数据; 每个城市提供全部数据的读写服务 选择哪款MQ?

7.选择Pulsar跨地域复制能力 n 内置能力 相比其他MQ,大部分需要业务实现消息复 制逻辑。 n 多种模式: 多城市最终一致,适应于同步数据量大 的场景,或者网络很差的情况; 多城市强同步,适应于对数据容灾级别 高的场景。 n 计算存储分离: 基于存储分离的能力,在跨城消费时拥 有更多的控制权来提升处理能力。

8.Pulsar高效数据复制模式 nPipeline写入 n条带化写入 n读写IO分离 n预热、顺序写、组提交

9.只读Broker提升消费处理能力 上万个消费者消费同一份 流水,怎么保证稳定性? nBookie集群共用,Broker 集群隔离 n就近读取,减少跨城访问

10.异地数据跨城同步实践

11.异地数据跨城同步实践 n基于row格式binlog日志的hash并发策略 n批量压缩,减少网络流量 n自动化冲突检测 支持10w/s 同步速率,延迟在30ms左右。

12.

13.Thanks!

StreamNative 是一家围绕 Apache Pulsar 和 Apache BookKeeper 打造下一代流数据平台的开源基础软件公司。秉承 Event Streaming 是大数据的未来基石、开源是基础软件的未来这两个理念,专注于开源生态和社区的构建,致力于前沿技术。