马蜂窝从MongoDB到TiDB的异构升迁

1 .MongoDB TiDB 

2 .MongoDB TiDB Ø MongoDB N Ø TiDB N ü + + ü ( ) + + ü json ü ü ü ü Sharded Cluster ü üWt CPU 3.2+ zlib 

3 .Part I - 

4 .Ø + 24.5 MongoDB Ø Ø MySQL+ ü ü Ø select+insert update delete 

5 .Ø -- Ø ES 15 Ø 

6 . Porxy Nginx Nginx Nginx …… ↓ index index index index index 

7 .Ø Java/Go Ø Ø searcher • • 2 • index + Ø MongoDB Oplog--Kafka-- MFW-seracher 

8 .Part 2 - MongoDB 

9 .Ø Ø Ø SQL Ø Ø 

10 .Part 3 - 

11 . TiDB Ø Ø MongoDB 23000 Ø + Ø Ø Ø 

12 .• • DML/DDL • • • • • • DDL • • • region • TiDB drainer • MongoDB MongoShake 

13 .Part 4 - 

14 .Ø id Ø Ø Ø Ø 

15 .

16 . MongoDB TiDB TiDB MongoDB /Redis / MongoDB TiDB Oplog kafka TiDB MongoDB MongoDB kafka Drainer 

17 . Mongo -- TiDB -TiDB kafka TiDB MongoDB TiDB 

18 .a. max(gid) b. 1 max(gid) DML 1 TiDB DML 2. Redis < > • 6 . web [ ] • log 

19 .3. upadtedTime Oplog 4. 5. Count + 6. (1) TiDB MongoDB/TiDB (2) TiDB / TiDB (3) TiDB TiDB (4) TiDB MongoDB (5) TiDB TiDB (6) TiDB 

20 .• Oplog Kafka--TiDB https://github.com/yxlHuster/mongo-kafka • TiDB Mongodb 

21 .Ø Ø TiDB dump+drainer Kakfa MongoDB Ø gid+updatedTime 

22 .MFW- - / / Admin / Service1 …… ServiceN MongoDB TiDB 

23 . -- TiDB MFW- - / / Admin / Service1 …… ServiceN MongoDB TiDB 

24 .Ø circuitBreaker.requestVolumeThreshold // 20 circuitBreaker.errorThresholdPercentage // 50% circuitBreaker.sleepWindowInMilliseconds // 5000 5s Ø rpc fallback / Ø Ø MongoDB TiDB TiDB MongoDB 

25 .Kafka 

26 .Part 5 – TiDB 

27 .TiDB CPU PD 5 64 SSD 32c 3.0.7 CentOS Nvme 7.7.1908 TiDB 5 64 SSD 32c 3.0.7 CentOS Nvme 7.7.1908 TiKV 9 256G SSD 64c 3.0.7 CentOS Nvme 7.7.1908 TiDB 3.0.5 3.0.6 3.0.7 

28 .Ø 3 [ ] Ø TiKV 

29 .TiDB Client Client Client Client Client Client Proxy Proxy Proxy HA-A Spark Redis Cluster Proxy Big/Hot Key Redis Redis Redis Redis Redis TiDB TiDB TiDB Redis Cluster PD Pump TiDB TiKV TiKV TiKV TiKV Kfaka