6.AIOps与ClickHouse的深度碰撞-高鹏

下载 14

3306π社区

发布于

598

人观看

#未分类

AIOps与ClickHouse的深度碰撞

内容介绍

随着互联网架构越发复杂，运维人员面临的监控挑战也越来越大，如何有效的迭代监控进化、推进业务优化，成为新的重任。#过去几年，我们使用大数据、统计学、机器学习算法，构建了行之有效的AIOps监控架构和系统，比较好的支撑了新浪内部的故障定位、根因分析和性能优化，这其中，ClickHouse又是我们的整个系统的基石。#本次分享，我将围绕AIOps在新浪的演进，同时结合ClickHouse的使用、运维、优化经验，给大家带来A（AI）与B（BigData）的深度碰撞。

作者信息

高鹏新浪高级DBA，运维中心智能数据分析平台、动态平台负责人。#在高可用架构设计、业务逻辑设计和优化方面，有较为丰富的经验。#目前负责新浪智能数据分析平台建设，致力于运维大数据价值挖掘，提升运维服务质量和产品用户体验度。#ClickHouse中国社区发起人之一，国内最早大规模使用ClickHouse的用户之一，对ClickHouse的架构、使用、优化，有较好的理解和实践经验。

展开查看详情

1 .AIOps与ClickHouse的深度碰撞 2021年03⽉⾼鹏

2 .⽬录 1. ClickHouse的引⼊ 2. ClickHouse的实践 3. AIOps与ClickHouse的碰撞 4. AIOps的落地 5. 探讨

3 .⽬录 1. ClickHouse的引⼊ 2. ClickHouse的实践 3. AIOps与ClickHouse的碰撞 4. AIOps的落地 5. 探讨

4 .ClickHouse的引⼊ about me MySQL DBA => 数据分析到底有没有好的OLAP产品？当线上的MySQL出现了慢查询……

5 .ClickHouse的引⼊穷⽽思变问题：如何实现百维、亿级、秒级数据分析新浪新闻APP APM管理

6 .ClickHouse的引⼊传统⼿艺 Hadoop ELK 架构简单 Spark：计算引擎链路复杂 DSL反⼈类 Hive：数据仓库速度奇慢资源永不够 MySQL：数据加速出错难修⾮本职⼯作

7 .ClickHouse的引⼊传统⼿艺 Hadoop ELK ⼈⼒成本⾼机器成本⾼技术难度⼤速度还慢

8 .ClickHouse的引⼊ ClickHouse的结缘 Percona对ClickHouse的推⼴ Percona与Altinity的关系

9 .ClickHouse的引⼊ ClickHouse的结缘 ClickHouse的发展历程

10 .ClickHouse的引⼊ ClickHouse的结缘 • 单机写⼊峰值100w • 数据压缩3-10倍 • 查询性能碾压开源、商业产品

11 .ClickHouse的收益某APM产品示例某APM指标数据

12 .ClickHouse的收益某APM产品示例某后端服务质量监控

13 .⽬录 1. ClickHouse的引⼊ 2. ClickHouse的实践 3. AIOps与ClickHouse的碰撞 4. AIOps的落地 5. 探讨

14 .ClickHouse的收益成本效率⽤户体验 • SQL • 查询速度：远超Hive/ES • 存储成本：ES的1/30 • 开发：彻底解决⽇志存 • 开发效率：使⽤SQL，替代放难题，随便打，读写 • 计算成本：利⽤率极⾼ Spark逻辑，数据链路变短都不会成为瓶颈

15 .ClickHouse的实践 20台机器 1300亿/天 3kw Query /天搞清定位⽤其所⻓

16 .ClickHouse的实践分析MySQL慢查询 clicktail https://www.percona.com/blog/2018/02/28/analyze-raw-mysql-query-logs-clickhouse/

17 .ClickHouse的实践 as TSDB 资源限制应⽤取舍⾃底向上的优化物化视图字典拓展宽表 LowCardinality SSD+HDD CPU适配内存带宽适配

18 .⽬录 1. ClickHouse的引⼊ 2. ClickHouse的实践 3. AIOps与ClickHouse的碰撞 4. AIOps的落地 5. 探讨

19 .AIOps与ClickHouse的碰撞外⾏眼中的AI运维运维眼⾥的传统运维

20 .AIOps与ClickHouse的碰撞 “AIOps是Gartner（⾼德纳，IT咨询公司）在2016年提出的概念，AIOps即 Arti cial Intelligence for IT Operations，智能运维，将⼈⼯智能应⽤于运维领域，基于已有的运维数据（⽇志、监控信息、应⽤信息等），通过机器学习的⽅式来进⼀步解决⾃动化运维没办法解决的问题 ” fi

21 .AIOps与ClickHouse的碰撞⼿⼯运维⾃动化运维智能运维

22 .AIOps与ClickHouse的碰撞⼿⼯运维⾃动化运维⼤数据运维智能运维

23 .AIOps与ClickHouse的碰撞精细化运营成本优化智能运维数据化运营服务⾃治问题关联⼤数据运维问题分析问题定位问题发现

24 .AIOps与ClickHouse的碰撞数据存储数据检索数据观察异常报警异常分析 ➡ 海量数据存储 ➡ 秒级查询 ➡ 图表丰富 ➡ 灵活 ➡ 根因分析 ➡ 吞吐量10W以上 ➡ 快速聚合 ➡ 可定制化 ➡ 通⽤ ➡ 关联分析 ➡ 成本可控 ➡ 功能丰富 ➡ 可交互 ➡ 准确

25 .AIOps与ClickHouse的碰撞数据存储数据检索数据观察异常报警异常分析 ➡ Isolation Forest ➡ K-means ➡ 关联规则 ➡ DBScan ➡ 全链路系统 ➡ DTW ➡ STL

26 .⽬录 1. ClickHouse的引⼊ 2. ClickHouse的实践 3. AIOps与ClickHouse的碰撞 4. AIOps的落地 5. 探讨

27 .AIOps的落地落地的思路 Data science produces insights 数据科学产⽣洞⻅⼯具的定位 Machine learning produces predictions 机器学习做出预测 Arti cial intelligence produces actions ⼈⼯智能⽣成⾏为 What's the di erence between data science, machine learning, and arti cial intelligence? http://varianceexplained.org/r/ds-ml-ai/ fi ff fi

28 .AIOps的落地落地的思路软件的“可观测”性 Peter Bourgon对于Metrics, tracing, and logging的分析 https://peter.bourgon.org/blog/2017/02/21/metrics-tracing-and-logging.html

29 .AIOps的落地落地的实践全链路智能报警构建之路数据分析与可视化⽇志中⼼

1点赞

4收藏

14下载