【第9期】DeepFlow AutoLogging自动采集应用调用日志和流日志

1 . 网 ｏｗ 杉 Ｆｌ 云 ｅｐ Ｄ 络 Ｄｅ DeepFlow AutoLogging: 网 ｏｗ 络 杉 Ｆｌ 网 自动采集应用调用日志和流日志 云 ｅｐ 杉 Ｄｅ 云 ｏｗ 络 李倩／云杉网络 产品专家 Ｆｌ 网 ｗｏ 2022年8月17日 ｅｐ 杉 Ｆｌ Ｄｅ 云 ｅｐ 络 Ｄｅ 网 ｗ 络 ｏ 杉 Ｆｌ 网 原力释放 云原生可观测性分享会 

2 . 网 ｏｗ DeepFlow 开源版本 杉 Ｆｌ 云 ｅｐ Ｄ 络 Ｄｅ 网 ｏｗ 络 杉 Ｆｌ 网 云 ｅｐ 杉 Ｄｅ 云 ｏｗ 络 Ｆｌ 网 ｏ ｗ ｅｐ 杉 Ｆｌ Ｄｅ 云 ｅｐ 络 Ｄｅ 网 ｗ 络 https://www.bilibili.com/video/BV1hN4y1L7TQ/?vd_source=8217e32e9012f691b56ca71735c1a472 ｏ 杉 Ｆｌ 网 原力释放 云原生可观测性分享会 

3 . 网 ｏｗ 杉 Ｆｌ 云 ｅｐ Ｄ 络 Ｄｅ 内容目录 网 ｏｗ 络 杉 Ｆｌ 网 云 应用调用日志，自动采集HTTP/MySQL等多协议调用日志 ｅｐ 杉 Ｄｅ 云 网络流日志，丰富指标量及TAG增强网络可观测性 ｏｗ 络 Ｆｌ 网 AutoLogging，基于 BPF/eBPF的自动日志采集能力 ｗｏ ｅｐ 杉 Ｆｌ Ｄｅ 云 ｅｐ 络 Ｄｅ 网 ｗ 络 ｏ 杉 Ｆｌ 网 原力释放 云原生可观测性分享会 

4 . 网 ｏｗ 应用调用日志-数据来源 杉 Ｆｌ 云 ｅｐ Ｄ Ops团队给Dev团队建设的一个站在应用视角快速查看所有的调用详情信息的一个能力 络 Ｄｅ 网 ｏｗ 络 HTTP 杉 Ｆｌ 网 云 DNS ｅｐ 杉 Ｄｅ 云 SQL ｏｗ 络 NoSQL Ｆｌ 网 ｏ ｗ ｅｐ RPC 杉 Ｆｌ Ｄｅ 云 ｅｐ MQ 络 Ｄｅ OpenTelemetry 网 ｗ 络 ｏ MQTT... 杉 Ｆｌ 网 原力释放 云原生可观测性分享会 

5 . 网 ｏｗ 应用调用日志-数据抽象 杉 Ｆｌ 云 ｅｐ 应用协议 (l7_protocol) HTTP MySQL DNS Ｄ 络 公共字段 Ｄｅ 协议版本 (version) 1.0/1.1/2 5.6+ all Redis 网 日志类型 (type) ｏｗ 络 请求/响应/会话 请求/响应/会话 请求/响应/会话 请求类型 (request_type) method command_type qurey_type 杉 Ｆｌ 网 请求域名 (request_domain) host -- Dubbo 云 请求字段 ｅｐ 杉 请求资源 (request_resource) path command qurey_name Ｄｅ Kafka 云 请求ID (request_id) stream_id -- transaction_id ｏｗ 络 响应状态 (response_status) 根据status的官方定义设定 根据response packets定义 根据reply_code的官方定义设定 响应码 (response_code) status error_code reply_code MQTT Ｆｌ 网 响应字段 ｗ 响应异常 (response_exception) error_message ｏ 根据status的官方定义设定 根据reply_code的官方定义设定 ｅｐ 杉 Ｆｌ 响应结果 (response_result) -- -- answer OpenTelemetry Ｄｅ 云 ｅｐ 请求长度 (request_length) content-length -- -- 络 ... Ｄｅ 响应长度 (response_length) content-length -- -- 指标量 网 响应时延 (response_duration) response_time - request_time response_time - request_time response_time - request_time ｗ 络 ｏ 杉 Ｆｌ 网 原力释放 云原生可观测性分享会 

6 . 网 ｏｗ 应用调用日志-自定义属性 杉 Ｆｌ 云 ｅｐ Ｄ 络 Ｄｅ 网 `attribute_names` Array(String) COMMENT '自定义属性', ｏｗ 络 `attribute_values` Array(String) COMMENT '自定义属性对应的值' 杉 Ｆｌ 网 云 ｅｐ 杉 Ｄｅ 云 存储形式用户无感知 key：value形式查看 ｏｗ 络 Ｆｌ 网 ｗｏ ｅｐ 杉 Ｆｌ Ｄｅ 云 ｅｐ 络 Ｄｅ 网 ｗ 络 ｏ 杉 Ｆｌ 网 原力释放 云原生可观测性分享会 

7 . 网 ｏｗ 应用调用日志-AutoTagging 杉 Ｆｌ K8s标签 云 计算/网络 存储 ｅｐ Ｄ 络 Ｄｅ 网 ｏｗ 络 杉 Ｆｌ 网 云 ｅｐ 杉 容器 Ｄｅ 云 ｏｗ 络 Ｆｌ 网 ｏ ｗ ｅｐ 杉 Ｆｌ Ｄｅ 云 ｅｐ 络 Ｄｅ 网 Bare Metal ｗ 络 ｏ 杉 Ｆｌ 网 原力释放 云原生可观测性分享会 

8 . 网 ｏｗ 应用调用日志-总览 杉 Ｆｌ 云 ｅｐ Ｄ 根据TAG快速 络 过滤应用 Ｄｅ 网 ｏｗ 络 杉 Ｆｌ 网 云 ｅｐ 杉 Ｄｅ 云 ｏｗ 络 Ｆｌ 网 ｗ 服务调用拓扑 ｏ ｅｐ 杉 Ｆｌ RED指标 Ｄｅ 云 ｅｐ 络 Ｄｅ 网 ｗ 络 ｏ 杉 https://ce-demo.deepflow.yunshan.net/d/Application_K8s_Pod/application-k8s-pod Ｆｌ 网 原力释放 云原生可观测性分享会 

9 . 网 ｏｗ 应用调用日志-HTTP访问日志 杉 Ｆｌ 云 根据TAG快速过滤应用和协议 ｅｐ Ｄ AccessLog DeepFlow 络 应用调用日志 Ｄｅ 网 remote_addr client ｏｗ 络 remote_user -- 杉 Ｆｌ 网 time_local start time 云 ｅｐ 杉 request request type request resource Ｄｅ 云 protocol version ｏｗ 络 status response code 结合状态和指标量 Ｆｌ 网 ｗ body_bytes_sent request len ｏ ｅｐ 杉 Ｆｌ http_referer 自定义字段 Ｄｅ 云 http_user_agent ｅｐ 自定义字段 络 http_x_forwarde 自定义字段 Ｄｅ d_for 网 ｗ 络 https://ce-demo.deepflow.yunshan.net/d/Application_Request_Log ｏ 杉 Ｆｌ 网 原力释放 云原生可观测性分享会 

10 . 网 ｏｗ 应用调用日志-MySQL慢查询日志 杉 Ｆｌ 云 ｅｐ 根据TAG过滤应用+协议，根据type，resorce过滤查询语句 Ｄ 络 Ｄｅ 网 ｏｗ 络 杉 Ｆｌ 网 云 ｅｐ 杉 Ｄｅ 云 时延排序过滤 ｏｗ 络 Ｆｌ 网 ｏ ｗ ｅｐ 杉 Ｆｌ Ｄｅ 云 ｅｐ 络 Ｄｅ 网 ｗ 络 ｏ 杉 Ｆｌ 网 https://ce-demo.deepflow.yunshan.net/d/Application_Request_Log 原力释放 云原生可观测性分享会 

11 . 网 ｏｗ 应用调用日志-分布式追踪的Span日志 杉 Ｆｌ 云 ｅｐ Ｄ 络 Ｄｅ 网 ｏｗ 络 杉 Ｆｌ 网 云 ｅｐ 杉 Ｄｅ 云 ｏｗ 络 Ｆｌ 网 ｏ ｗ ｅｐ 杉 Ｆｌ Ｄｅ 云 ｅｐ 络 Ｄｅ 网 ｗ 络 ｏ 杉 Ｆｌ 网 https://ce-demo.deepflow.yunshan.net/d/Application_Request_Log 原力释放 云原生可观测性分享会 

12 . 网 ｏｗ 应用调用日志-全栈全链路追踪 杉 Ｆｌ 云 ｅｐ Ｄ 络 Ｄｅ 网 ｏｗ 络 杉 Ｆｌ 网 云 ｅｐ 杉 Ｄｅ 云 ｏｗ 络 Ｆｌ 网 ｏ ｗ ｅｐ 杉 Ｆｌ Ｄｅ 云 ｅｐ 络 Ｄｅ 网 ｗ 络 ｏ 杉 Ｆｌ 网 https://ce-demo.deepflow.yunshan.net/d/Distributed_Tracing/distributed-tracing 原力释放 云原生可观测性分享会 

13 . 网 ｏｗ 杉 Ｆｌ 云 ｅｐ Ｄ 络 Ｄｅ 内容目录 网 ｏｗ 络 杉 Ｆｌ 网 云 应用调用日志，自动采集HTTP/MySQL等多协议调用日志 ｅｐ 杉 Ｄｅ 云 网络流日志，丰富指标量及TAG增强网络可观测性 ｏｗ 络 Ｆｌ 网 AutoLogging，基于 BPF/eBPF的自动日志采集能力 ｗｏ ｅｐ 杉 Ｆｌ Ｄｅ 云 ｅｐ 络 Ｄｅ 网 ｗ 络 ｏ 杉 Ｆｌ 网 原力释放 云原生可观测性分享会 

14 .网 络 Ｄｅ ｅｐ Ｆｌ ｏ ｗ 云 Ｆｌ 杉 ｏ ｗ 网 络 云 Ｄｅ 杉 ｅｐ 网 网络流日志-功能定义 Ｆｌ 络 ｏｗ Ｄｅ 杉 ｅｐ 网 Ｆｌ 络 ｏｗ Ｄｅ ｅｐ 云 Ｆｌ 杉 ｏｗ 网 云 杉 网 络 原力释放 云原生可观测性分享会 Ｄ 

15 . 网 ｏｗ 网络流日志-DeepFlow与公有云对比 杉 Ｆｌ DeepFlow 云 差异点 公有云 ｅｐ Ｄ 捕获周期 1m 10m 络 Ｄｅ 捕获位置 VPC网络、容器网络、物理网络、系统接口 VPC网络 网 ｏｗ 络 五元组 支持 支持 杉 Ｆｌ 网 隧道-TAG 支持（类型、外层IP/MAC等） 不支持 云 VPC网络-TAG ｅｐ 杉 支持（VPC/VM/RDS/LB/NAT约20种） 支持（VPC/VM/Subnet） 容器网络-TAG 支持（cluster/ns/workload/service/pod约10种） 不支持 Ｄｅ 云 采集位置-TAG 支持（采集点/采集器/网卡/MAC等） 支持（网卡ID） ｏｗ 络 指标量-吞吐 支持（packet/byte/网络层载荷/传输层载荷等） 支持（packet/byte） Ｆｌ 网 ｗ 指标量-性能 支持（零窗/重传等） 不支持 ｏ ｅｐ 指标量-时延 杉 支持（建连/传输/协议栈等） 不支持 Ｆｌ Ｄｅ 云 流状态 支持 不支持 ｅｐ 包日志 TCP时序日志 不支持 络 Ｄｅ 日志状态 不支持（排期中） 支持 网 ｗ 络 安全策略 不支持（排期中） 支持 ｏ 杉 Ｆｌ 网 计费 开源/SaaS免费 是 原力释放 云原生可观测性分享会 

16 . 网 ｏｗ 网络流日志-总览 杉 Ｆｌ 云 ｅｐ Ｄ 络 Ｄｅ 网 ｏｗ 络 杉 Ｆｌ 网 云 ｅｐ 杉 Ｄｅ 云 ｏｗ 络 Ｆｌ 网 ｏ ｗ ｅｐ 杉 Ｆｌ Ｄｅ 云 ｅｐ 络 Ｄｅ 网 ｗ 络 ｏ 杉 Ｆｌ 网 https://ce-demo.deepflow.yunshan.net/d/Network_Flow_Log/network-flow-log 原力释放 云原生可观测性分享会 

17 . 网 ｏｗ 网络流日志-网络时延 杉 Ｆｌ 云 ｅｐ Ｄ 络 Ｄｅ Flow ID可将”应用调用日志”与”网络流日志“关联起来 网 ｏｗ 络 杉 Ｆｌ 网 云 ｅｐ 杉 Ｄｅ 云 ｏｗ 络 Ｆｌ 网 ｏ ｗ ｅｐ 杉 Ｆｌ Ｄｅ 云 ｅｐ 络 Ｄｅ 网络时延=建连时延+协议栈处理时延+网络传输时延 网 ｗ 络 ｏ 杉 Ｆｌ 网 https://ce-demo.deepflow.yunshan.net/d/Network_Flow_Log/network-flow-log 原力释放 云原生可观测性分享会 

18 . 网 ｏｗ 网络流日志-流状态异常日志 杉 Ｆｌ 云 ｅｐ Ｄ 络 Ｄｅ 网 ｏｗ 络 对状态过滤，追踪异常流 杉 Ｆｌ 网 云 ｅｐ 杉 Ｄｅ 云 ｏｗ 络 Ｆｌ 网 ｏ ｗ ｅｐ 杉 Ｆｌ Ｄｅ 云 ｅｐ 络 Ｄｅ 网 ｗ 络 ｏ 杉 Ｆｌ 网 https://ce-demo.deepflow.yunshan.net/d/Network_Flow_Log/network-flow-log 原力释放 云原生可观测性分享会 

19 .网 络 Ｄｅ ｅｐ Ｆｌ ｏ ｗ 云 Ｆｌ 杉 ｏ ｗ 网 络 云 Ｄｅ 杉 ｅｐ 网 Ｆｌ 络 ｏｗ 网络流日志-TCP时序日志 Ｄｅ 杉 ｅｐ 网 Ｆｌ 络 ｏｗ Ｄｅ ｅｐ 云 Ｆｌ 杉 ｏｗ 网 云 杉 网 络 原力释放 云原生可观测性分享会 Ｄ 

20 .网 络 Ｄｅ ｅｐ Ｆｌ ｏ ｗ 云 Ｆｌ 杉 ｏ ｗ 网 络 云 Ｄｅ 杉 ｅｐ 网 Ｆｌ 络 ｏｗ Ｄｅ 杉 ｅｐ 网 Ｆｌ 络 ｏｗ Ｄｅ ｅｐ 云 Ｆｌ 杉 ｏｗ 网 云 杉 网 络 原力释放 云原生可观测性分享会 Ｄ 

21 . 网 ｏｗ 杉 Ｆｌ 云 ｅｐ Ｄ 络 Ｄｅ 内容目录 网 ｏｗ 络 杉 Ｆｌ 网 云 应用调用日志，自动采集HTTP/MySQL等多协议调用日志 ｅｐ 杉 Ｄｅ 云 网络流日志，丰富指标量及TAG增强网络可观测性 ｏｗ 络 Ｆｌ 网 AutoLogging，基于 BPF/eBPF的自动日志采集能力 ｗｏ ｅｐ 杉 Ｆｌ Ｄｅ 云 ｅｐ 络 Ｄｅ 网 ｗ 络 ｏ 杉 Ｆｌ 网 原力释放 云原生可观测性分享会 

22 .网 络 志 日 用 调 Ｄｅ 志 日 流 ｅｐ Ｆｌ ｏ ｗ 云 Ｆｌ 杉 ｏ ｗ 网 络 云 AutoLogging-采集 Ｄｅ 杉 ｅｐ 网 Ｆｌ 络 ｏｗ Ｄｅ 杉 ｅｐ 网 Ｆｌ 络 ｏｗ Ｄｅ ｅｐ 云 Ｆｌ 杉 ｏｗ 网 云 杉 网 络 原力释放 云原生可观测性分享会 Ｄ 

23 . 网 ｏｗ AutoLogging-处理 杉 Ｆｌ 云 ｅｐ Ｄ 络 Ｄｅ 隧道拆解 网 ｏｗ 络 杉 Ｆｌ 网 链路层解析 网络层解析 传输层解析 云 ｅｐ 杉 Ｄｅ 云 AutoTagging 网络 ｏｗ 络 预处理 流日志 Ｆｌ 网 ｏ ｗ ｅｐ 杉 应用协议 应用协议 应用 Ｆｌ Ｄｅ 云 识别 解析 调用日志 ｅｐ 络 Ｄｅ 公共 网 流日志 APM数据 ｗ 络 调用日志 ｏ 杉 Ｆｌ 网 原力释放 云原生可观测性分享会 

24 . 网 ｏｗ 应用调用日志-协议扩展 杉 Ｆｌ 云 应用调用日志映射 ｅｐ Ｄ 络 Ｄｅ 网 ｏｗ 络 杉 Ｆｌ 网 云 ｅｐ 杉 Ｄｅ 云 ｏｗ 络 应用解析协议 Ｆｌ 网 ｏ ｗ ｅｐ 杉 Ｆｌ Ｄｅ 云 ｅｐ 应用RED指标计算 络 Ｄｅ 网 ｗ 络 ｏ 杉 Ｆｌ 网 https://github.com/deepflowys 原力释放 云原生可观测性分享会 

25 . 网 ｏｗ 开始构建可观测性 杉 Ｆｌ 云 ｅｐ Ｄ 络 Ｄｅ 网 ｏｗ 络 杉 Ｆｌ 网 云 ｅｐ 杉 Ｄｅ 云 ｏｗ 络 Ｆｌ 网 ｗ 免费 开源 集成 ｏ ｅｐ 杉 Ｆｌ 试用SaaS服务 下载MetaFlow源码 DeepFlow咨询 Ｄｅ 云 ｅｐ 络 Ｄｅ 网 ｗ 络 ｏ 杉 欢迎加入云杉网络，HR微信：holidayxd Ｆｌ 网