浅谈可观测性生态的优化和丰富

下载 0

云杉网络

发布于

人观看

信息技术

展开查看详情

1 . 云杉网络ＤｅｅｐＦｌｏｗ云杉网络ＤｅｅＦｌｐＦｏｗｌｏｗ云云杉杉网网络络ＤＤｅｅｐＦｌｅｅｐＦｏｗｌｏｗ云云杉插件开发实践网杉络网Ｄ络ｐＦｅｅｌｏｐＦｗｌｏｗ云云杉周振宇／云杉网络前端技术专家网杉络网Ｄ络Ｄ DeepFlow Grafana ｅｅｐＦｌｅｅｐＦｏｗｌｏｗ云云杉可观测性技术实践系列第13期直播·2022-12-08 网杉络网ＤｅｅｐＦｌｏｗ云杉网络ＤｅｅｐＦ原力释放云原生可观测性分享会ｌｏ

2 . 云杉网络ＤｅｅｐＦｌｏｗ云杉网络ＤｅｅＦｌｐＦ目录ｏｗｌｏｗ云云杉杉网网络络Ｄ 4、后续迭代计划ｅｅＤｐＦｌｅｅｐＦｏｗｌ 3、Panel Plugin 开发ｏｗ云云杉杉网网络 2、DataSource Plugin 开发Ｄ络ｐＦｅｅｌｏｐＦｗｌｏｗ云 1、DeepFlow 搭配的 Grafana 插件杉云网杉络网Ｄ络ｅｅＤｐＦｌｅｅｐＦｏｗｌｏｗ云云杉杉网网络ＤｅｅｐＦｌｏｗ云杉网络ＤｅｅｐＦ原力释放云原生可观测性分享会ｌｏ

3 . 云杉网络ＤｅｅｐＦｌｏｗ云杉网络ＤｅｅＦｌｐＦｏｗｌｏｗ云云杉杉网网络络ＤＤｅｅｐＦｌｅｅｐＦｏｗｌｏｗ云云杉杉网网络络ＤｐＦｅｅｌｏｐＦｗｌｏｗ云 1、DeepFlow 搭配的 Grafana 插件杉云网杉络网Ｄ络ｅｅＤｐＦｌｅｅｐＦｏｗｌｏｗ云云杉杉网网络ＤｅｅｐＦｌｏｗ云杉网络ＤｅｅｐＦ原力释放云原生可观测性分享会ｌｏ

4 . 络网网杉 DeepFlow Grafana 杉云云ｏｗｏ metric ｏｗｌｐＦｌ • Why Grafana ｐＦｌｅｅｐＦｅｅＤｅｅ log Ｄ络Ｄ • 场景丰富，覆盖可观测性主要数据类型络网络网杉网杉 profile 云 • 生态成熟，插件众多杉云云 tracing ｏｗ • 开发简单ｏｗｗｌｐＦｌｌｏｐＦｅｅｐＦｅｅＤｅｅＤ络Ｄ络网络网杉网 • Empower Grafana 杉云杉云云 • 快速，一键点亮ｏｗｏｗｏｗＦｌＦｌｐＦｌｅｅｐ • 全栈，全链路，高性能ｅｅｐＤｅｅＤ络Ｄ络网络网杉网杉云杉云云ｗｏｗｌｏ原力释放云原生可观测性分享会ｐＦＦｌ

5 . 络网网杉 DeepFlow 杉云云ｏｗｏｏｗｌｐＦｌｐＦ • 丰富的观测数据ｌｅｅｐＦｅｅＤｅｅＤ • Metrics 络Ｄ络网络网 • AutoMetrics, Prometheus/Telegraf/ 杉网杉云杉云 • Tracing 云ｏｗ • AutoTracing, OpenTelemetry/Skywalking/ ｏｗｗｌｐＦｌｌｏｐＦ • Logging ｅｅｐＦｅｅＤｅｅＤ • AutoLogging 络Ｄ络网络网杉网杉云杉云 • 支持上千种指标算子组合的自由查询云ｏｗｏｗｏｗＦｌＦｌｐ • 解决运维场景最头疼的问题：ＦｌｅｅｐｅｅｐＤｅｅＤ络 • 异常事件追踪Ｄ络网络网 • 故障定位定界杉网杉云杉 • 云量化服务可用性云 • ｗ零侵扰部署ｏｗｌｏ原力释放云原生可观测性分享会ｐＦＦｌ

6 . 云杉网络ＤｅｅｐＦｌｏｗ云杉网络ＤｅｅＦｌｐＦｏｗｌｏｗ云云应用监控- K8s Pod 杉杉网网络络ＤＤｅｅｐＦｌｅｅｐＦｏｗｌｏｗ云云杉杉网网络络Ｄ DeepFlow Grafana模板ｐＦｅｅｌｏｐＦｗｌｏｗ云云杉杉网网络络ＤＤｅｅｐＦｌｅｅｐＦｏｗｌｏｗ云云杉杉网网络ＤｅｅｐＦｌｏｗ云杉网络ＤｅｅｐＦ原力释放云原生可观测性分享会ｌｏ

7 . 云杉网络ＤｅｅｐＦｌｏｗ云杉网络ＤｅｅＦｌｐＦｏｗｌｏｗ云云杉杉网网络络ＤＤ应用监控- K8s Pod Map ｅｅｐＦｌｅｅｐＦｏｗｌｏｗ云云杉杉网网络络Ｄ DeepFlow Grafana模板ｐＦｅｅｌｏｐＦｗｌｏｗ云云杉杉网网络络ＤＤｅｅｐＦｌｅｅｐＦｏｗｌｏｗ云云杉杉网网络ＤｅｅｐＦｌｏｗ云杉网络ＤｅｅｐＦ原力释放云原生可观测性分享会ｌｏ

8 . 云杉网络ＤｅｅｐＦｌｏｗ云杉网络ＤｅｅＦｌｐＦｏｗｌｏ应用调用链追踪ｗ云云杉杉网网络络ＤＤｅｅｐＦｌｅｅｐＦｏｗｌｏｗ云云杉杉网网络络Ｄ DeepFlow Grafana模板ｐＦｅｅｌｏｐＦｗｌｏｗ云云杉杉网网络络ＤＤｅｅｐＦｌｅｅｐＦｏｗｌｏｗ云云杉杉网网络ＤｅｅｐＦｌｏｗ云杉网络ＤｅｅｐＦ原力释放云原生可观测性分享会ｌｏ

9 . 云杉网络ＤｅｅｐＦｌｏｗ云杉网络ＤｅｅＦｌｐＦｏｗｌｏｗ云云杉杉网网络络ＤＤｅｅｐＦｌｅｅｐＦｏｗｌｏｗ云云杉杉网网络络ＤｐＦｅｅ DeepFlow Grafana模板ｌｏｐＦｗｌｏｗ云云杉杉网网络络ＤＤｅｅｐＦｌｅｅｐＦｏｗｌｏｗ云云杉杉网网络ＤｅｅｐＦｌｏｗ云杉网络ＤｅｅｐＦ原力释放云原生可观测性分享会ｌｏ

10 . 云杉网络ＤｅｅｐＦｌｏｗ云杉网络ＤｅｅＦｌｐＦｏｗｌｏｗ云云杉杉网网络络ＤＤｅｅｐＦｌｅｅｐＦｏｗｌｏｗ云云杉杉网网络 2、DataSource Plugin 开发Ｄ络ｐＦｅｅｌｏｐＦｗｌｏｗ云云杉杉网网络络ＤＤｅｅｐＦｌｅｅｐＦｏｗｌｏｗ云云杉杉网网络ＤｅｅｐＦｌｏｗ云杉网络ＤｅｅｐＦ原力释放云原生可观测性分享会ｌｏ

11 . 络网网杉 DeepFlow Grafana Plugin 杉云云ｏｗｏｏｗｌｐＦｌ • DataSource Plugin ｐＦｌｅｅｐＦｅｅＤｅｅＤ • 构建搜索条件络Ｄ络网络 • 向后端发起请求获取数据，并转换为Grafana panel认识的数据格式网杉网杉云杉云云ｏｗ • Panel Plugin ｏｗｗｌｐＦｌｌｏｐＦ • 内置/自定义的绘图模块ｅｅｐＦｅｅＤｅｅＤ络Ｄ络网络网 • 使用过程杉网杉云杉云 • 在Grafana中加入data source，同时完成相关配置云ｏｗ • 查询时选择data source，通过UI完成查询条件构造ｏｗｏｗＦｌＦｌｐ • 通过data source请求后端数据，并进行格式转换ＦｌｅｅｐｅｅｐＤｅｅＤ • 络数据由Grafana发送给panel渲染Ｄ络网络网杉网杉云杉云云ｗｏｗｌｏ原力释放云原生可观测性分享会ｐＦＦｌ

12 . 络网网杉 DeepFlow DataSource Plugin 杉云云ｏｗｏｏｗｌｐＦｌｐＦ文件结构ｌｅｅｐＦｅｅＤｅｅＤ络Ｄ络网络网杉网杉云杉 DataSource包含了：云云 • QueryEditor，DataSource的查询界面ｏｗｏｗｗｌ • ConfigEditor，加入DataSource时的配置ｐＦｌｌｏｐＦｅｅｐＦｅｅ编辑页面ＤｅｅＤ络Ｄ • Variables，Grafana中创建的变量络网络网杉网 • datasource，插件的执行逻辑核心杉云杉云 • plugin.json，相关配置，包proxy配置项云ｏｗｏｗｏｗＦｌＦｌｐＦｌｅｅｐｅｅｐＤｅｅＤ络Ｄ络网络网杉网杉云杉云云ｗｏｗｌｏ原力释放云原生可观测性分享会ｐＦＦｌ

13 . 云杉网络ＤｅｅｐＦｌｏｗ云杉网络ＤｅｅＦｌｐＦｏｗｌｏｗ云云 ConfigEditor 杉杉网网络络ＤＤｅｅｐＦｌｅｅｐＦｏｗｌｏｗ云云杉杉网网络络ＤｐＦｅｅｌｏｐＦｗｌｏｗ云云杉杉网网络络ＤＤｅｅｐＦｌｅｅｐＦｏｗｌｏｗ云云杉杉网网络ＤｅｅｐＦｌｏｗ云杉网络ＤｅｅｐＦ原力释放云原生可观测性分享会ｌｏ

14 . 云杉网络ＤｅｅｐＦｌｏｗ云杉网络ＤｅｅＦｌｐＦｏｗｌｏｗ云 QueryEditor 杉云网杉络网Ｄ络ｅｅＤｐＦｌｅｅｐＦｏｗｌｏｗ云云杉杉网网络络ＤｐＦｅｅｌｏｐＦｗｌｏｗ云云杉杉网网络络ＤＤｅｅｐＦｌｅｅｐＦｏｗｌｏｗ云云杉杉网网络ＤｅｅｐＦｌｏｗ云杉网络ＤｅｅｐＦ原力释放云原生可观测性分享会ｌｏ

15 . 云杉网络ＤｅｅｐＦｌｏｗ云杉网络Ｄ Variables ｅｅＦｌｐＦｏｗｌｏｗ云云杉杉网网络络ＤＤｅｅｐＦｌｅｅｐＦｏｗｌｏｗ云云杉杉网网络络ＤｐＦｅｅｌｏｐＦｗｌｏｗ云云杉杉网网络络ＤＤｅｅｐＦｌｅｅｐＦｏｗｌｏｗ云云杉杉网网络ＤｅｅｐＦｌｏｗ云杉网络ＤｅｅｐＦ原力释放云原生可观测性分享会ｌｏ

16 . 络网网杉 Datasource.ts 杉云云ｏｗｏｏｗｌｐＦｌｐＦ执行流程ｌｅｅｐＦｅｅＤｅｅＤ络Ｄ络网 DataSource执行逻辑：络网杉网杉 • 查询条件构造页面云杉云云 • 将条件通过DeepFlow Querier SDK ｏｗｏｗ生成一个有效的查询语句ｗｌｐＦｌｌｏｐＦｅｅ • 将语句封装为API请求ｐＦｅｅＤｅｅＤ络 • 通过plugin的plugin.json中设置的Ｄ络网络网 proxy转发至DeepFlow Querier 杉网杉云杉 • 将DeepFlow Querier返回的数据转云云ｏｗ换为符合Panel需要的数据ｏｗｏｗＦｌ • 在Panel中可视化呈现ＦｌｐＦｌｅｅｐｅｅｐＤｅｅＤ络Ｄ络网络网杉网杉云杉云云ｗｏｗｌｏ原力释放云原生可观测性分享会ｐＦＦｌ

17 . 络网网杉杉数据查询云云ｏｗｏｏｗｌｐＦｌｐＦｌｅｅｐＦ 2种数据查询模式ｅｅＤ数据查询逻辑ｅｅＤ络Ｄ络网络网杉 • 网直接查询全部数据，一般用于杉云杉云查询原始日志，用于一些精细云ｏｗ的排查ｏｗｗｌｐＦｌｌｏ • ｐＦ进行分组查询，这是最常见的ｅｅｐＦｅｅＤｅｅ方式。分组的数据可以使用多Ｄ络Ｄ络网络种函数进行聚合网杉网杉云杉云云 • Select Avg(`byte`) from table ｏｗｏｗ group by interval(time, 60) ｏｗＦｌＦｌｐＦｌ • Select Avg(`byte`) from table ｅｅｐｅｅｐＤｅｅＤ group by ip, interval(time, 60) 络Ｄ络网络网杉网杉云杉云云ｗｏｗｌｏ原力释放云原生可观测性分享会ｐＦＦｌ

18 . 云杉网络ＤｅｅｐＦｌｏｗ云杉网络ＤｅｅＦｌｐＦｏｗｌｏｗ云云单、双端数据杉杉网网络络ＤＤｅｅｐＦｌｅｅｐＦ单端：以资源节点为统计对象ｏｗｌｏｗ云云杉杉网网络络ＤｐＦｅｅｌｏｐＦｌ目前有l4_flow_log和l7_flow_log两张表ｗｏｗ云云杉杉网网络络ＤＤｅｅｐＦｌｅｅｐＦ双端：以访问路径作为统计对象，有源端、目的端的概念ｏｗｌｏｗ云云杉杉网网络ＤｅｅｐＦｌｏｗ云杉网络ＤｅｅｐＦ原力释放云原生可观测性分享会ｌｏ

19 . 络网网杉杉转换查询条件云云ｏｗｏｏｗｌｐＦｌｐＦｌｅｅｐＦ • 资源分组转换为资源ID的分组，ｅｅＤｅｅＤ络Ｄ络避免重名网络网杉网杉 • 自动增加node_type、icon_id 云杉云云等算子，例如在拓扑图中正确ｏｗｏｗｗｌ显示资源ｐＦｌｌｏｐＦｅｅｐＦｅｅＤ • 对枚举类型的自动转换，实现ｅｅＤ络Ｄ络网自动翻译。如protocol -> 络网杉网杉 Enum(protocol) 云杉云云ｏｗｏｗ • 自动进行别名替换ｏｗＦｌＦｌｐＦｌｅｅｐ • ... ｅｅｐＤｅｅＤ络Ｄ络网络网杉网杉云杉云云ｗｏｗｌｏ原力释放云原生可观测性分享会ｐＦＦｌ

20 . 云杉网络ＤｅｅｐＦｌｏｗ云杉网络ＤｅｅＦｌｐＦｏｗｌｏｗ云云转换查询条件杉为 SQL 或其他格式网杉络网Ｄ络ｅｅＤｐＦｌｅｅｐＦｏｗｌｏｗ云云杉杉网网络络ＤｐＦｅｅｌｏｐＦｗｌｏｗ云云杉杉网网络络ＤＤｅｅｐＦｌｅｅｐＦｏｗｌｏｗ云云杉杉网网络ＤｅｅｐＦｌｏｗ云对于构造好的查询结构化数据，通过DeepFlow Querier SDK 统一转换杉网络ＤｅｅｐＦ原力释放云原生可观测性分享会ｌｏ

21 . 络网网杉 Result Formatter 杉云云ｏｗｏｏｗｌｐＦｌｐＦｌｅｅｐＦｅｅＤ对返回的数据进行重整，使之能适配各种panel进行绘图ｅｅＤ络Ｄ络网络网杉网杉云杉云返回的原始结构云ｏｗ • 一个二维的dataframe结构 Record<string, number | string>[] ｏｗｗｌｐＦｌｌｏｐＦ • 列表可以直接展示ｅｅｐＦｅｅＤｅｅＤ络 • 折线图Ｄ络网络网杉网 • 需要构造series(线) 杉云杉云云 • 拓扑图ｏｗ • 需要构造nodes和links ｏｗｏｗＦｌＦｌｐＦｌｅｅｐ • ... ｅｅｐＤｅｅＤ络Ｄ络网络网杉网杉云杉云云ｗｏｗｌｏ原力释放云原生可观测性分享会ｐＦＦｌ

22 . 云杉网络ＤｅｅｐＦｌｏｗ云杉的形式网络ＤｅｅＦｌｐＦ折线图ｏｗｌｏｗ云云杉杉网网络络ＤＤｅｅｐｅｅ Result Formatter ＦｌｐＦｏｗｌｏｗ云云杉杉网网络络ＤｐＦｅｅｌｏｐＦｗｌｏｗ云云杉杉网网络络ＤＤｅｅｐＦｌｅｅｐＦｏｗｌｏｗ云云杉杉网网络ＤｅｅｐＦｌｏｗ云需要将转换为 data: [{time: timestamp, 组1: number}, {time: timestamp, 组2: number}, ...}] 杉网络ＤｅｅｐＦ原力释放云原生可观测性分享会ｌｏ

23 . 云杉网络ＤｅｅｐＦｌｏｗ云杉网络ＤｅｅＦｌｐＦｏｗｌｏｗ云云杉杉网网数据二次分组络络ＤＤｅｅｐＦｌｅｅｐＦｌ Result Formatter ｏｗｏｗ云云杉杉网网络络ＤｐＦｅｅｌｏｐＦｗｌｏｗ云云杉杉网网络络ＤＤｅｅｐＦｌｅｅｐＦｌ分出单独的每条线。ｏｗｏｗ云云杉杉网网络ＤｅｅｐＦｌｏｗ • 按照所有group by字段可能的取值， • 线的名称支持自定义，方便实际使用。云杉网络ＤｅｅｐＦ原力释放云原生可观测性分享会ｌｏ

24 . 络网网杉 Result Formatter 杉云云ｏｗｏｏｗｌｐＦｌｐＦｌｅｅｐＦ拓扑图ｅｅＤｅｅＤ络Ｄ络网 • 需要构造出{nodes: {name: string, id: string, metrics: any[]}[], links: {from: 络网杉网杉 any, to: any}[]}的结构云杉云云 • 源、目的相同的节点，比如{chost_0: 1}和 {chost_1: 1,} 需要合并为一个有ｏｗｏｗ效的节点 chost: 1 ｗｌｐＦｌｌｏｐＦｅｅｐＦｅｅＤｅｅＤ络Ｄ络网络网杉网杉云杉云云ｏｗｏｗｏｗＦｌＦｌｐＦｌｅｅｐｅｅｐＤｅｅＤ络Ｄ络网络网杉网杉云杉云云ｗｏｗｌｏ原力释放云原生可观测性分享会ｐＦＦｌ

25 . 云杉网络ＤｅｅｐＦｌｏｗ云杉网络ＤｅｅＦｌｐＦｏｗｌｏｗ云云杉杉网网络络ＤＤｅｅｐＦｌｅｅｐＦｏｗｌ 3、Panel Plugin 开发ｏｗ云云杉杉网网络络ＤｐＦｅｅｌｏｐＦｗｌｏｗ云云杉杉网网络络ＤＤｅｅｐＦｌｅｅｐＦｏｗｌｏｗ云云杉杉网网络ＤｅｅｐＦｌｏｗ云杉网络ＤｅｅｐＦ原力释放云原生可观测性分享会ｌｏ

26 . 络网网杉 Panel 杉云云ｏｗｏｏｗｌｐＦｌｐＦｌｅｅｐＦ • 在 DataSource Plugin 中，会按照各种场景生成对应的数据，在Panel中进行显ｅｅＤｅｅＤ络示Ｄ络网络网杉网 • 除了 Grafana 自带的一系列 Panel 外，DeepFlow 提供了两个 Panel plugin 杉云杉云云ｏｗｏｗｗｌｐＦｌｌｏｐＦｅｅｐＦｅｅＤｅｅＤ络Ｄ络网络网杉网杉云杉云云ｏｗｏｗｏｗＦｌＦｌｐ Topo Panel: 普通拓 Topo Panel: 瀑布拓 AppTracing Panel ＦｌｅｅｐｅｅｐＤｅｅ扑扑Ｄ络Ｄ络网络网杉网杉云杉云云ｗｏｗｌｏ原力释放云原生可观测性分享会ｐＦＦｌ

27 . 云杉网络Ｄｅｅｐ • • • • Ｆｌｏｗ云杉网络Ｄｅｅ拓扑Panel 可设置根节点采用树形方式ＦｌｐＦｏｗｌｏ支持多棵独立树ｗ云云杉普通拓扑的布局方式网杉络网Ｄ络ｅｅＤｐＦｌｅｅｐＦｏｗｌｏｗ云云杉杉网网源端优先，按照访问顺序绘制层级关系络络ＤｐＦｅｅｌｏｐＦｗｌｏｗ云云杉杉网网络络ＤＤｅｅｐＦｌｅｅｐＦｏｗｌｏｗ云云杉杉网网络ＤｅｅｐＦｌｏｗ云杉网络ＤｅｅｐＦ原力释放云原生可观测性分享会ｌｏ

28 . 云杉网络ＤｅｅｐＦｌｏｗ云杉网络Ｄｅｅ拓扑Panel ＦｌｐＦ瀑布的布局方式ｏｗｌｏｗ • 采用紧凑树形方式云云杉杉网网络络ＤＤｅｅ • 通过简单拓扑计算相对位置ｐＦｌｅｅｐＦｏｗｌｏｗ分组，达到空间相对利用率最高云 • 分组模式下，使用网格系统来堆叠杉云网杉络网Ｄ络ｐＦｅｅｌｏｐＦｗｌｏｗ云云杉杉网网络络ＤＤｅｅｐＦｌｅｅｐＦｏｗｌｏｗ云云杉杉网网络ＤｅｅｐＦｌｏｗ云杉网络ＤｅｅｐＦ原力释放云原生可观测性分享会ｌｏ

29 . 云杉网络ＤｅｅｐＦｌｏｗ云杉网络Ｄｅｅ拓扑Panel ＦｌｐＦｏｗｌｏ瀑布拓扑ｗ云云杉杉网网络络ＤＤｅｅｐＦｌｅｅｐＦｏｗｌｏｗ云云杉杉网网络络ＤｐＦｅｅｌｏｐＦｗｌｏｗ云云杉杉网网络络ＤＤｅｅｐＦｌｅｅｐＦｏｗｌｏｗ云云杉杉网网络Ｄ瀑布拓扑-分组ｅｅｐＦｌｏｗ云杉网络ＤｅｅｐＦ原力释放云原生可观测性分享会ｌｏ

0 点赞

0 收藏

0下载