Apache Pulsar实践经验以及社区参与总结

展开查看详情

1.Apache Pulsar 实践经验及社区参与总结 演讲者 / 李李鹏辉

2.⾃自我介绍 李李鹏辉 智联招聘-研发⼯工程师 / Apache Pulsar Committer

3.⽬目录 Pulsar在智联的现状 部署及服务配置 利利⽤用Pulsar特性定制化需求 使⽤用经验总结 值得期待的新特性 参与社区

4.Apache Pulsar 推进时间轴 ALI-CLOUD 1亿/天 IDC-B 7⽉月 8⽉月 9⽉月 10⽉月 11⽉月 12⽉月 IDC-A 10亿/天 20亿/天

5.⽣生产环境指标 ⽇日均线上事件分发 20亿+ 20+ Namespaces ⽇日均事件存储 2TB 1000+ Topics 接近 99.9% < 5ms

6.覆盖业务范围 职位服务 职位搜索 搜索推荐 Passport 简历服务 简历投递 ⽤用户⾏行行为搜集 …

7.Apache Pulsar 监控展示

8.Apache Pulsar 监控展示

9.Apache Pulsar 监控展示

10.Apache Pulsar 监控展示

11.Apache Pulsar 监控展示

12.⽬目录 Pulsar在智联推进现状 部署及服务配置 利利⽤用Pulsar特性定制化需求 使⽤用经验总结 值得期待的新特性 参与社区

13.部署情况 2个⾃自有机房 + 阿⾥里里云 Broker + Bookie 裸机 ⽇日志盘与数据盘分离 1个副本同步刷盘

14.⽬目录 Pulsar在智联推进现状 部署及服务配置 利利⽤用Pulsar特性定制化需求 使⽤用经验总结 值得期待的新特性 参与社区

15.利利⽤用拦截器器实现消息链路路跟踪 Interceptors Log 1 Before Send TraceId SpanId ParentId Sample 2 Send Acknowledge TraceId SpanId ParentId Sample 3 Before Consume TraceId SpanId ParentId Sample 4 Consume Acknowledge TraceId SpanId ParentId Sample

16.利利⽤用ServiceUrlProvider实现热切换 pulsar://172.17.5.170:6650 Pulsar Client ZK 172.17.5.170 172.17.6.170 172.17.7.170

17.利利⽤用ServiceUrlProvider实现热切换 pulsar://172.17.6.170:6650 Pulsar Client ZK 172.17.5.170 172.17.6.170 172.17.7.170

18.客户端指标搜集 Prometheus ZK Pulsar Client Pulsar Client Pulsar Client

19.客户端指标搜集

20.⽬目录 Pulsar在智联推进现状 部署及服务配置 利利⽤用Pulsar特性定制化需求 使⽤用经验总结 值得期待的新特性 参与社区

21.Retention Backlog Expiry

22.经验总结 1 正确使⽤用 Backlog 策略略

23.经验总结 2 停⽌止 receive != 停⽌止消费

24.经验总结 3 消息回溯时注意Backlog限制

25.经验总结 4 重要业务添加Backlog监控

26.经验总结 5 慎⽤用 ConsumerBuilder Clone

27.经验总结 6 避免 Message Properties Key 重复

28.经验总结 7 添加MaxProducersPerTopic限制

29.经验总结 8 设置合理理的 Bookie Compact 速度限制