Apache Pulsar实践经验以及社区参与总结

1 .Apache Pulsar 实践经验及社区参与总结 演讲者 / 李李鹏辉 

2 .⾃自我介绍 李李鹏辉 智联招聘-研发⼯工程师 / Apache Pulsar Committer 

3 .⽬目录 Pulsar在智联的现状 部署及服务配置 利利⽤用Pulsar特性定制化需求 使⽤用经验总结 值得期待的新特性 参与社区 

4 .Apache Pulsar 推进时间轴 ALI-CLOUD 1亿/天 IDC-B 7⽉月 8⽉月 9⽉月 10⽉月 11⽉月 12⽉月 IDC-A 10亿/天 20亿/天 

5 .⽣生产环境指标 ⽇日均线上事件分发 20亿+ 20+ Namespaces ⽇日均事件存储 2TB 1000+ Topics 接近 99.9% < 5ms 

6 .覆盖业务范围 职位服务 职位搜索 搜索推荐 Passport 简历服务 简历投递 ⽤用户⾏行行为搜集 … 

7 .Apache Pulsar 监控展示 

8 .Apache Pulsar 监控展示 

9 .Apache Pulsar 监控展示 

10 .Apache Pulsar 监控展示 

11 .Apache Pulsar 监控展示 

12 .⽬目录 Pulsar在智联推进现状 部署及服务配置 利利⽤用Pulsar特性定制化需求 使⽤用经验总结 值得期待的新特性 参与社区 

13 .部署情况 2个⾃自有机房 + 阿⾥里里云 Broker + Bookie 裸机 ⽇日志盘与数据盘分离 1个副本同步刷盘 

14 .⽬目录 Pulsar在智联推进现状 部署及服务配置 利利⽤用Pulsar特性定制化需求 使⽤用经验总结 值得期待的新特性 参与社区 

15 .利利⽤用拦截器器实现消息链路路跟踪 Interceptors Log 1 Before Send TraceId SpanId ParentId Sample 2 Send Acknowledge TraceId SpanId ParentId Sample 3 Before Consume TraceId SpanId ParentId Sample 4 Consume Acknowledge TraceId SpanId ParentId Sample 

16 .利利⽤用ServiceUrlProvider实现热切换 pulsar://172.17.5.170:6650 Pulsar Client ZK 172.17.5.170 172.17.6.170 172.17.7.170 

17 .利利⽤用ServiceUrlProvider实现热切换 pulsar://172.17.6.170:6650 Pulsar Client ZK 172.17.5.170 172.17.6.170 172.17.7.170 

18 .客户端指标搜集 Prometheus ZK Pulsar Client Pulsar Client Pulsar Client 

19 .客户端指标搜集 

20 .⽬目录 Pulsar在智联推进现状 部署及服务配置 利利⽤用Pulsar特性定制化需求 使⽤用经验总结 值得期待的新特性 参与社区 

21 .Retention Backlog Expiry 

22 .经验总结 1 正确使⽤用 Backlog 策略略 

23 .经验总结 2 停⽌止 receive != 停⽌止消费 

24 .经验总结 3 消息回溯时注意Backlog限制 

25 .经验总结 4 重要业务添加Backlog监控 

26 .经验总结 5 慎⽤用 ConsumerBuilder Clone 

27 .经验总结 6 避免 Message Properties Key 重复 

28 .经验总结 7 添加MaxProducersPerTopic限制 

29 .经验总结 8 设置合理理的 Bookie Compact 速度限制