《51信用卡在微服务架构下的监控平台架构实践》-杨帆
51信用卡在微服务架构下的监控平台架构实践
演讲大纲:
- 公司简介
- 微服务的监控
- 当互金遇上微服务
- 51信用卡的应对之道
- 智能化实践
- 未来展望
展开查看详情
1.̽51מአࣁܜங๐ۓຝӥጱፊഴଘݣຝਫ᪢̾ ᄍᦖᘏ҈
2. ىԭ౯ • • 51מአܜຝ҅Ԇᥝᨮᨱፊഴᔮᕹጱᦡᦇ • Ԟ݇Өᬦᐺํԯ҅හഝପᒵᬩᖌଘݣጱݎ • ࡅཻರᚸ҅ฎӻሞঁ
3. ፓ୯ ݪلՕᕨ ୮ᰂ᭬Ӥங๐ۓ ฬᚆ۸ਫ᪢ 1 2 3 4 5 6 ங๐ۓጱፊഴ 51מአܜጱଫԏ᭲ ๚๕
4.1҂ݪلՕᕨ
5. Ӿࢵᶾضᑀದᰂᣟᇿْ 51מአ҅ܜӾࢵᶾضᰂᣟᑀದᇿْ҅ӱۓ႗ፍӻՈמአᓕቘ๐̵ۓ מአܜᑀದ๐̵ۓᕚӤמᩅඏ݊ݳಭᩒ๐ۓӣय़ӱۓࣘ҅෪ӥํ“51מ አܜᓕਹ”̵“51Ոߝ”̵ “51Ոߝᩅ”̵“ᕳ֦ᜰ”ᒵ໐ஞAPP҅ํ᩻ᬦ1 Պᄶၚአಁ̶
6.2҂ங๐ۓጱፊഴ
7.փᕹጱፊഴ੶ړ አಁᒒ ᬩ០ࠟᨶᰁ҅ڹᒒວ ӱۓ Իฃᰁ҅ᦢᳯᰁ҅౮ۑሲ ଫአ API҅RT ᔮᕹ CPU҅ᨮ҅ᗑ҅ܜᏺፏ चᏐᦡෞ ಄҅ᗑᕶ҅Ꮭկ
8.փᕹጱᥴ٬ොໜ - Zabbix սᅩ - ౮ᆧݢᶌ ᘌᇈፊഴկ҅ᐒ܄౮ᆧ҅ൊկռग̶़ սᅩ - ᔮᕹຽقᶎ ݱᐿፊഴᵱ᮷ํଫጱᥴ٬ොໜ҅ຽஉ҅قᬮ ᚆֵአᛔਧԎᚕ̶ ᗌᅩ - ֵአ౮உṛ ےӞӻፊഴ౮உṛ҅உग़ᬩᖌԞํݝचጱԧ ᥴ̶ ᗌᅩ - ଫአፊഴളࢯفᵙ ԭங๐ۓᒵ॔ጱຝ҅ളفጱොໜଚӧො̶
9.୮փᕹຝݻங๐҅ݸۓᥤݎኞදݒ
10. զ๐ۓԅᖌଶጱፊഴ ຽፊഴ ݍଫӞӻᔮᕹጱचఘݢ҅٭զ ᱾᪠ፊഴ ݍଫ๐ۓፗളጱ᧣አىᔮ҅᧣አ ฎ᎖꧊ֺ҅ই֢ᔮᕹጱ ᳵ҅ᥤڦ܄ԭຽፊഴ҅ฎ cpu҅ᗑᕶጱၞᰁ҅ԞݢզฎӞ ӻᘸݳ꧊ֺ҅ইᦢᳯጱᰁ̶ ଫአ զ᧗ԅच̶֖ܔ ෭பፊഴ ෭பጱᵞ̵ᐏ̵ፊഴ̶
11. ᐒ܄ጱᥴ٬ොໜ ຽፊഴ ᱾᪠ፊഴ Prometheus҅Influxdb Pinpont҅Zipkin ٌ՜ ෭பፊഴ Zabbix ELK
12.3҂୮ᰂ᭬Ӥங๐ۓ
13. ங๐ۓፊഴํՋԍᇙᅩ ๐ۑۓᚆܔӞ ຽහᰁग़ ྯӻ๐ۓ׀ጱۑᚆܔӞ҅ಅզ᭜౮ ๐ۓහᰁग़᭜౮ຽහᰁग̶़ ๐ۓጱහᰁᶋଉग̶़ ଫአፗള᧣አ॔ ᦄޞහᰁग़ ྯӻ๐ۓ᮷տ᧣አᝑଗӻଫአ҅᭜౮ ྯӻ๐ۓ᮷ᵱᥝᦤכፊഴ݊҅ᦄޞ᭜ ᧣አىᔮ̶॔ ౮ᦄޞහᰁग̶़
14.ᰂ + ங๐ۓտᏳඊߺڊԶᳯ᷌Ҙ
15. ᰂӥጱங๐ۓፊഴ ඳᵑதᑕଶ֗ ӱۓᩒᰂ௳௳ፘ҅ىᰂᶾऒᶋଉ᯿ᥤᨶᰁ ᭄قᶎጱፊഴ ᔮᕹጱݱӻ៧᮷ᵱᥝፊഴ҅کᩒᰂ෫ੜԪ ᭄ள᭛ጱᦄޞ ᵱᥝᒫӞᳵ҅ᦄޞഴګᩒഖᵱᥝᳵᩦ᪒ ࣁ॔ጱங๐ۓӥᵱᥝள᭛ෙ ፊഴᵱᥝӧ֕ᵱᥝํ֦ᦫޞᳯ᷌҅ᬮᵱᥝߺ֦ᦫޞ ᯾ํᳯ᷌
16. 51ங๐ۓፊഴጱڡ๗ Prometheus Http ളݗ ཛྷୗ ᛔଃᦄޞ Grafana ᥤࢶ
17. WEB应用服务器 Prometheus ӥጱፊഴ prometheus client node exportor Prometheus 抓取 discovery Consul 存储 告警 ᵞᔉଶᅎၚ Spring Cloud ኞா෫ᖲളف WEB应用服务器 ׀label ጱ༷ஷ҅ᘸݳᅎၚ ׀exportor discovery҅ള فங๐ۓኞாஉො prometheus client ဌํړୗොໜ ଘݣ۸ࢯᵙ҅ԟ౮ׁᆐӧ֗ ݝᚆܔᬩᤈ҅ᘸޞؙਂ̵ݳ grafana + alertmanager ጱଘݣ node exportor ᦄ᮷ݝᚆܔᬩᤈ ۸౮உṛ
18. ᵋ፳๐ۓीᳩ҅তӧෙ᪴ࣗ • ړୗ౮உṛ҅40 cores + 256G + ssd ጱܔஉளᏳکᚆኒ᷀ • ᦄޞෙጱᦫ᩼᩼ग़҅֕चԭܔଚӧঅ؉ • PromQL ԟ౮ӧ֗҅ෛಋଚӧঅ • ཛྷୗࣁّӧݶහഝრӤᶎতݒ᩼᩼ࢯᵙ
19. Docker KVM Service D Service B ங๐ۓፊഴࢯह Service C Service A
20. හഝ౮ Ԇᚆፊഴ ᡦ̵ᚆፊഴ ਾԆጱ CPU̵ᗑܜᒵ ጱᚆຽ҅Ԟݶ۱ೡ CPU̵ᗑܜᒵ ଫአᚆຽ ෭பຽ API̵RT̵GC ᒵහഝ ۱ೡᔮᕹ݊ଫአጱᲙහ҅ଉ හᒵຽ ଫአᳵ᧣አຽ ӱۓຽ ଫአᳵ᧣አىᔮ҅ᆤෙ҅RT ᒵ ӱۓፘىຽ ௳מ
21. ᓒᒟᨴ҅ྯीےӞӻ๐ۓ • Ӟӻ๐ۓํ 10 ӻ API • Ӟӻ๐ۓଘ࣐ 8 ӻਫֺ • Ӟӻ๐ۓଘ࣐᧣አ 10 ӻ๐ۓ • ྯीےӞӻ๐҅ۓीےᕅ 5000 ӻຽ • ইຎٚीےᖌଶҁֺই dc҂҅ےளᵞ᷇ሲ҅ᬯӻහਁᬮᘉپኾ
22. ԅՋԍຽᔉଶᬯԍᕡҘ • ᰂ + ங๐ۓጱຝӥ҅౯ժፊഴෙํๅᕡᛘጱᥝ • ౯ժጱፓጱӧྊฎԅԧݎሿᳯ᷌҅ᘒӬԞᥝᬥ᭛ᦫޞ౯ժᳯ᷌ࣁߺ᯾ • devops҅APM҅ፊഴ҅ᦄޞᬯԶ༷ஷྋࣁӧෙᣟݎݳኞ۸ݍଫ
23.4҂51מአܜጱଫԏ᭲
24.ଘݣ۸
25.ԅՋԍᥝଘݣ۸Ҙ ԅෛفےጱݎՈާ׀ᕹӞጱ֛ḵ ፊഴ̵ᦄޞզ݊ෙጱӞᒊୗ๐ۓ ԅ AIOps ׀మێ
26.ই֜ୌӤ੶ᕹӞጱਂؙ
27.चԭ Prometheus ጱຝදᬰ PromQL兼容 ړୗጱਂؙḘӤଃෛጱᳯ᷌ 抓取服务器 转发服务器 Pull 模型 转换层 Push 模型 KairosDB 格式 Cassandra Cassandra DC1 DC2
28. ᦄޞጱᚆኒ᷀ • Labels ܃ᯈጱᔱපሲ • ဌํᶼᘸݳ᭜౮ݐጱັᧃኒ᷀ +෫ဩᥴ٬ጱ LSM ٟளౌ • Metric ᬦᳩጱັᧃᚆ • ᖌଶᆷᅨ݊ᖌଶ᯿॔ࢯह
29. Labels ܃ᯈጱᔱපሲ sum(increase(service_api_count{port=~"8.*"})) by instance Inverted Index service_api_count{instance="192.168.1.1", port="80"} service_api_count{instance="192.168.1.2", port="81"} service_api_count{instance="192.168.1.2", port="71"} service_api_count{instance="192.168.1.2", port="72"}