腾讯海量数据MQ实践与Pulsar新技术落地

1 .腾讯海量数据MQ实践 与Pulsar新技术落地 2020/1/4 SPEAKER 演讲 

2 .刘涛 腾讯高级工程师，Apache TubeMQ PPMC 李致波 腾讯高级工程师，Apache TubeMQ PPMC 

3 .目录 1、海量数据技术演进 2、为什么要用Pulsar 3、目前工作推进 4、后续计划 

4 .海量数据技术演进 

5 . 0 5 10 15 20 25 30 35 40 2013年5月 2013年7月 2013年9月 2013年11月 2014年1月 2014年3月 2014年5月 2014年7月 2014年9月 2014年11月 2015年1月 2015年3月 2015年5月 2015年7月 2015年9月 2015年11月 2016年1月 数据接入趋势 2016年3月 2016年5月 2016年7月 2016年9月 2016年11月 平均每天接入条数 2017年1月 2017年3月 平均每天接入条数/万亿 2017年5月 2017年7月 2017年9月 2017年11月 2018年1月 2018年3月 2018年5月 2018年7月 2018年9月 2018年11月 2019年1月 2019年3月 2019年5月 2019年7月 2019年9月 2019年11月 

6 .技术图谱 TDM SDK TDBus XXX MQ 实时推荐 Agent TDBus Pulsar 离线计算 HTTP TDBus TubeMQ SDK 

7 .高性能架构（已开源） Broker Cluster 采集层 接入层 分拣层 Broker Broker Producer Group Consumer Group Broker Broker Producer Consumer Producer Consumer ZooKeeper heartbeat Producer Consumer Master ( active ) 心跳 Master ( standby ) 仲裁 数据流向 Master HA 

8 .高可靠架构（后续开源） Producer Group Consumer Group Producer Consumer Controller Master Producer Consumer Failover Producer Controller Controller Consumer Slave Slave Heartbeat Message flow Broker Broker Broker Master Master Master ... Failover Failover Failover Broker Broker Broker Broker Broker Broker Slave Slave Slave Slave Slave Slave BrokerGroup 1 BrokerGroup 2 BrokerGroup N 

9 .规模（高可靠） 300+机器 2000+ topic 日均500-600亿数据 

10 .为什么要用Pulsar 

11 .现状 1、维护成本 多种接入方式（C、Java、Python、Go等） 2、开源协同 拥抱开源，避免重复造轮子 

12 .Pulsar落地 1、高一致性 Paxos协议保证副本一致性 2、IO隔离 Writes、Tailing Reads、Catch-up Reads 3、水平扩容 存储计算分离 

13 .目前工作推进 

14 .用户接入 1、降低接入门槛 2、完善前后端对接（Flink，Oceanus） 接入业务 1、内部数据接入 2、对账指标 

15 .遇到的问题 1、Bookie进程退出（内存耗尽、zk断连）。 2、重度依赖Zookeeper。 

16 .后续计划 

17 .后续计划 1、切换现有存量业务（500+亿/天） 2、高可靠业务接入 3、贡献社区 

18 .THANK YOU!