Apache cassandra - survivre en production

1 . Apache Cassandra Survivre en production 

2 .PARIS CASSANDRA MEETUP - JANVIER 2018 Alexander Dejanovski @alexanderdeja Consultant www.thelastpickle.com Datastax MVP for Apache Cassandra Licensed under a Creative Commons Attribution-NonCommercial 3.0 New Zealand License 

3 . www.bigdatahebdo.com Licensed under a Creative Commons Attribution-NonCommercial 3.0 New Zealand License 

4 .About The Last Pickle
 Apache Cassandra consulting 4 committers / 3 PMC / 1 VP Apache Cassandra 6 pays : Nouvelle Zélande, Australie, France, Espagne, USA et Estonie 

5 . Hardware www.thelastpickle.com 

6 . CPU 8 à 16 threads www.thelastpickle.com 

7 . RAM 32 à 64 Go www.thelastpickle.com 

8 . Disques Sérieusement… SSD ! www.thelastpickle.com 

9 . Monitoring Grafana / Prometheus / DataDog www.thelastpickle.com 

10 . GC settings G1 vs CMS ? Taille de heap ? www.thelastpickle.com 

11 . Versions de Cassandra 2.x.x vs 3.0.x vs 3.11.x www.thelastpickle.com 

12 . Authentification www.thelastpickle.com 

13 . Encryption node-to-node client-to-node www.thelastpickle.com 

14 . Partitionement !! Les « grosses » partitions tuent silencieusement vos clusters www.thelastpickle.com 

15 . 
 nodetool cfstats/tablestats Table: cluster SSTable count: 1 SSTables in each level: [1, 0, 0, 0, 0, 0, 0, 0, 0] Space used (live): 5136 Space used (total): 5136 … Bloom filter false positives: 0 Bloom filter false ratio: 0,00000 Bloom filter space used: 16 Bloom filter off heap memory used: 8 Index summary off heap memory used: 17 Compression metadata off heap memory used: 16 Compacted partition minimum bytes: 104 Compacted partition maximum bytes: 124 Compacted partition mean bytes: 124 Average live cells per slice (last five minutes): NaN Maximum live cells per slice (last five minutes): 0 Average tombstones per slice (last five minutes): NaN Maximum tombstones per slice (last five minutes): 0 Dropped Mutations: 0 www.thelastpickle.com 

16 . nodetool cfhistograms/tablehistograms 
 reaper_db/cluster histograms Percentile SSTables Write Latency Read Latency Partition Size Cell Count (micros) (micros) (bytes) 50% 0,00 0,00 0,00 124 4 75% 0,00 0,00 0,00 124 4 95% 0,00 0,00 0,00 124 4 98% 0,00 0,00 0,00 124 4 99% 0,00 0,00 0,00 124 4 Min 0,00 0,00 0,00 104 4 Max 0,00 0,00 0,00 124 4 www.thelastpickle.com 

17 . Réduire la durée de vie des partitions www.thelastpickle.com 

18 . Batches vs Async queries www.thelastpickle.com 

19 . Pas de « read-before-write » pour matérialiser un état RACE CONDITIONS ! www.thelastpickle.com 

20 . Pas de changements incrémentaux sur une collection avec TTL www.thelastpickle.com 

21 . Materialized Views www.thelastpickle.com 

22 . Index secondaires et SASI www.thelastpickle.com 

23 . Compaction www.thelastpickle.com 

24 . Débit et parallélisme 8 à 16MB/s min par compacteur www.thelastpickle.com 

25 . Choix de stratégie STCS / LCS / TWCS www.thelastpickle.com 

26 . Beaucoup d’overwrites et SSD ? LCS www.thelastpickle.com 

27 . Données avec TTL ? TWCS www.thelastpickle.com 

28 . Sinon ? STCS www.thelastpickle.com 

29 . Pas de compactions manuelles (sauf sur petits volumes) www.thelastpickle.com