- 快召唤伙伴们来围观吧
- 微博 QQ QQ空间 贴吧
- 文档嵌入链接
- 复制
- 微信扫一扫分享
- 已成功复制到剪贴板
【第5期】MetaFlow:开源的高度自动化可观测性平台
展开查看详情
1 .云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 Copyright© 2022 YUNSHAN Networks
2 .云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 Copyright© 2022 YUNSHAN Networks
3 .云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 Copyright© 2022 YUNSHAN Networks
4 .云杉 云杉 云杉 云杉 云杉 开发者一半时间去哪里了? 网络 网络 网 络 网络 网络 埋点插码繁琐 Dev Stack多样 Infra Stack黑盒 云杉 云杉 云杉 云杉 云杉 网络 网络 网 络 网络 kafka 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网 络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网 络 网络 网络 开发人员一半时间用于可观测性 云杉 云杉 云杉 云杉 云杉 网络 网https://thenewstack.io/observability-takes-too-much-developer-time-so-automate-it/ 络 网 络 网络 网络 看云网更清晰 让开发者更自由
5 .云杉 云杉 云杉 云杉 云杉 建设可观测性平台难 网络 网络 网 络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网 络 网络 网络 High Cardinality Sampling 云杉 云杉 云杉 云杉 云杉 网络 网络 网 络 网络 网络 Simplebet 体育博彩公司,使用Lightstep 云杉 云杉 云杉 云杉 云杉 网络 网络 网 络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网 络 网络 网络 看云网更清晰 让开发者更自由 Maintain
6 .云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 Copyright© 2022 YUNSHAN Networks
7 .云杉 云杉 云杉 云杉 云杉 MetaFlow从哪里来 —— DeepFlow 网络 络 网络 网 网络 网络 观测点及数据获取 发送 云原生应用可观测性 关联 第三方工具数据 云杉 云杉 云杉 云杉 云杉 网络 网络 网 络 网络 网络 企业混合云 网 黄金指标 调用依赖 基于应用代码和日志的可观测性 公 〔分布式〕 络 全栈链路 知识图谱 有 云 预处理 / 私 ︹ 云杉 有 云 零 云解析 杉网 性能指标 云杉 云杉 云杉 网络 络调用日志 网 络 应用链路 网络 网络 侵 TraceID 网络链路 指标 入 聚合 监控数据 ︺ Flow 追踪 数 关联 1% 应 据 Http、DNS、SQL、NoSQL、MQ、 日志 用 采集器 获 带宽开销 应 RPC、MQTT 云杉 云杉 云 云杉 云杉 网络kafka 1% CPU 取 网络 用 访问追踪杉网络 错慢性能 知识图谱 网络 网络 压缩 变更事件 云平台API N 资源信息 F 容器编排API V TKE ACK 控制器 企业混合云 10W采集器 云杉 云杉 数据节点 云杉 云杉 20+云平台 云杉 网络 网络 云原生,水平扩展 网络 网络 网络 100x ES/InfluxDB性能 1% 资源开销 看云网更清晰 让开发者更自由
8 .云杉 云杉 云杉 云 云 MetaFlow的使命和愿景 网络 网络 网络 杉网 络 杉网 https://github.com/metaflowys/metaflow 络 使命:让开发者更自由。 愿景:打造世界级可观测性平台。 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 可视化 Open 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 数据 云杉 云杉 Automation 云杉 数据库 云杉 云杉 网络 网络 网络 Open 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 看云网更清晰 让开发者更自由
9 .云杉 云杉 云杉 云杉 云杉 MetaFlow的定位 —— 以Tracing/Request为核心 网络 网络 络 网 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 Service Map 网络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 Flame Graph Automation 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 Raw Request 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 看云网更清晰 让开发者更自由
10 .云杉 云杉 云杉 云杉 云杉 MetaFlow的定位 —— 集成并丰富Metrics/Logging数据 网络 网络 络 网络网 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 Service Map 网络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网 网络 网络 Flame 络 Integration Graph Automation & Enrich 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 Raw Request 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 看云网更清晰 让开发者更自由
11 .云杉 云杉 云杉 云杉 云杉 MetaFlow的软件架构 网络 网络 网 络 网络 网络 One Agent, One Server. 云杉 云杉 云杉 云杉 云杉 网络 网络 网 络 网络 网络 Any Tag: GUI options service/instance/ endpoint/... Eureka tag discovering MetaFlow SQL 云杉 云杉 云杉 云杉 Observability with Automation 云杉 网络 网络 Any Stack: 网 络 网络 网络 app/infra/... Controller Querier AutoMetrics AutoTracing Agent Server Labeler Ingester kafka 云杉 云杉 Extension: 云杉 AutoTagging 云杉 SmartEncoding 云杉 网络 网络 agent/SDK/... 网 络 网络 网络 Storage options telegraf 云杉 云杉 云杉 云杉 云杉 网络 网络 网 络 网络 网络 看云网更清晰 让开发者更自由
12 .云杉 云杉 云杉 云杉 云杉 MetaFlow Agent 网络 网络 网 络 网络 网络 云杉 云杉 云杉 AutoMetrics 云杉 云杉 网络 网络 网络 AutoTracing 网络 网络 Any Tag: GUI options service/instance/ Powered by eBPF endpoint/... 资源、实例、API Eureka tag discovering MetaFlow SQL 云杉 云杉 云杉 云杉 Observability with Automation 云杉 网络 网络 Any Stack: 网 络 网络 网络 app/infra/... Controller Querier 开发技术栈、基础设施 AutoMetrics AutoTracing Agent Server Labeler Ingester kafka 云杉 云杉 Extension: 云杉 AutoTagging 云杉 SmartEncoding 云杉 网络 网络 agent/SDK/... 网 络 网络 网络 指标、追踪、日志 Rust 实现 Storage options telegraf WASM可编程性 云杉 云杉 云杉 云杉 云杉 网络 网络 网 络 网络 网络 看云网更清晰 让开发者更自由
13 .云杉 云杉 云杉 云杉 云杉 MetaFlow Server 网络 网络 网 络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网 络 网络 网络 GUI options Any Tag: service/instance/ Dashboard endpoint/... Eureka tag discovering MetaFlow SQL 云杉 云杉 云杉 云杉 Observability with Automation 云杉 网络 网络 Any Stack: 网 络 网络 网络 app/infra/... Controller Querier AutoTagging AutoMetrics AutoTracing Agent Server SmartEncoding Labeler Ingester kafka 云杉 云杉 Extension: 云杉 AutoTagging 云杉 SmartEncoding 云杉 网络 网络 agent/SDK/... 网 络 网络 网络 Storage options 分析数据库 telegraf 云杉 云杉 云杉 云杉 云杉 网络 网络 网 络 网络 网络 看云网更清晰 让开发者更自由
14 .云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 Copyright© 2022 YUNSHAN Networks
15 .云杉 云杉 云杉 云杉 云杉 重要特性 网络 网络 网络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 全栈 全链路 高性能 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 可编程 易扩展 易维护 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 看云网更清晰 让开发者更自由
16 .云杉 云杉 云杉 云杉 云杉 重要特性 网络 网络 网络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 全栈 全链路 高性能 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 可编程 易扩展 易维护 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 看云网更清晰 让开发者更自由
17 .云杉 云杉 云杉 云杉 云杉 AutoMetrics 网络 网络 网络 网络AutoMetrics powered 网络by eBPF 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 应用进程 应用进程 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 envoy envoy POD POD POD POD Any Dev Stack:框架、语言 云杉 iptables、ipvs KVM 云杉 Any Infra云Stack:计算、存储、网络 云 iptables、ipvs 云杉 KVM 网络 网络 杉网 杉网 KVM 络 络 KVM网络 VM VM L2GW、OvS L4~L7 GW L2GW、OvS 云杉 HOST 云杉 云杉 Gateway 云杉 云杉 HOST 网络 网络 网络 网络 网 络 看云网更清晰 让开发者更自由
18 .云杉 云杉 云杉 云杉 云杉 AutoTagging 网络 网络 网 络 网络 网络 自动同步云API、K8s apiserver owner=xian zone=ZoneA env=prod Labels gyang 云杉 ~30种资源标签,100+自定义微服务标签 云杉 云杉 云杉 deployType 云杉 releaseVer group=iot 网络 网络 网络 网络 =canary sion=12 网络 资源池 网络资源 容器资源 服务 区域 VPC 容器集群 app TKE ACK 可用区 子网 容器节点 version 容 云平台 CIDR 命名空间 env 器 云杉 租户 云 IP地址 杉网 容器服务 云杉 group 云杉 云杉 网络 络 网络 网络 网络 NATGW Ingress owner 云资源 ALB Deployment stage 宿主机 … StatefulSet commitId 云服务器 ReplicaSet deployId 云杉 云杉 POD ... 云杉 云杉 云杉 网络 网络 网络 网络 网络 云 自动标记端到端数据标签 主机名、IP地址、VPC/隧道ID、对等连接、NAT/LB ➔ 资源标签 云杉 工作负载、容器服务、命名空间 云杉 ➔ 服务标签 云杉 云杉 云杉 网 络 网 络 网 络 网络 网络 看云网更清晰 让开发者更自由
19 .云杉 云杉 云杉 云杉 云杉 Universal Service Map 网络 网络 网络 网络AutoMetrics powered 网络by eBPF Total traffic Universal Service Map 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 HTTP RED (by K8s service) 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 TCP CPS, Zero window, … (by K8s service) Traffic (by K8s workload) 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 DNS RED TCP RTT、SRT、ART (by K8s workload) 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 看云网更清晰 让开发者更自由
20 .云杉 云杉 云杉 云杉 云杉 Universal Service Map 网络 网络 网络 网络AutoMetrics powered 网络by eBPF 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 云杉 云杉 eBPF采集协议:TCP/UDP、HTTP 云杉 云杉 1/2/S、Dubbo、MySQL、Redis、Kafka、DNS 云杉 网络 网络 网络 网络 网络 eBPF采集指标:应用#Request / Error / Delay,网络吞吐、时延、异常(丢包/重传/零窗/异常建连) 看云网更清晰 让开发者更自由
21 .云杉 云杉 云杉 云杉 云杉 重要特性 网络 网络 网络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 全栈 全链路 高性能 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 可编程 易扩展 易维护 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 看云网更清晰 让开发者更自由
22 .云杉 云杉 云杉 云杉 云杉? 分布式链路追踪的盲点 网络 网络 网络 网络 网络 链路追踪有多全? ? 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 ? OpenResty 云杉 云杉 Auth-svc handle_http() 云杉 云杉 svc6 handle_http() 云杉 网络 网络 网络 网络 网络 Auth-svc func1() svc6 func1() svc6 func2() svc0 handle_rpc() svc7 handle() svc8 handle() 云杉 云杉 云杉 envoy 云杉网 云杉 网络 网络 网络 络 网络 svc1-python svc3-newrpc MySQL ALB DNS svc4 svc5 svc9 handle() svc2 log log log 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 看云网更清晰 让开发者更自由
23 .云杉 云杉 云杉 云杉 云杉 AutoTracing 网络 网络 网 络 网络 网络 AutoTracing by 云杉 云杉 云杉 云杉 云杉 网络 网络 网 络 网络 网络 OpenResty Auth-svc handle_http() svc6 handle_http() Auth-svc func1() svc6 func1() svc6 func2() 云杉 云杉 云杉 云杉 云杉 网络 网络 网 络 网络 网络 svc0 handle_rpc() svc7 handle() svc8 handle() envoy svc1-python svc3-newrpc 云杉 云 杉网 云 杉网 云杉 MySQL 云杉 网络 络 ALB 络 网络 网络 svc9 handle() DNS svc2 svc4 svc5 log log log 云杉 云杉 云杉 云杉 云杉 网络 网络 网 络 网络 网络 看云网更清晰 让开发者更自由
24 .云杉 云杉 云杉 云杉 云杉 Tracing without blind spots 网络 网络 络 网 网络 网络 OpenResty Auth-svc handle_http() svc6 handle_http() 云杉 云杉 Auth-svc func1() 云杉 云杉 func1() svc6 云杉 网络 网络 网络 网络 svc6 func2() 网络 svc0 handle_rpc() svc7 handle() svc8 handle() envoy 云杉 云 svc1-python 杉网 svc3-newrpc 云杉 云杉 云杉 网络 络 网络 网络 MySQL 网络 ALB DNS svc4 svc5 svc9 handle() svc2 log log log Tracing without blind spots 云杉 网络 云杉 网络 Auto Intrumentation by 云杉 网 + AutoTracing by 云杉 网络 云杉 网络 gateway 络 different inner tracer function NLB aio KVM sidecar 云杉 云杉 ALB K8s 云 database 杉网 云杉 云杉 网络 网络 络 网络 网络 new rpc non-critical path 看云网更清晰 让开发者更自由
25 . 云杉 云杉 云杉 云杉 云杉 Tracing without blind spots 网络 络 网络 网 网络 网络 OpenResty Auth-svc handle_http() svc6 handle_http() 云杉 云杉 Auth-svc func1() 云杉 svc6 func1() 云杉 云杉 网络 网络 网络 网络 网络 svc6 func2() svc0 handle_rpc() svc7 handle() svc8 handle() envoy 云杉 云杉 云杉 云杉 云杉 网络svc1-python svc3-newrpc 网络 网 络 MySQL 网络 网络 ALB DNS svc4 svc5 svc9 handle() svc2 log log log Tracing without blind spots 云杉 云杉 Auto Intrumentation by + 云杉 AutoTracing by 云杉 云杉 gateway 网络 网络 网 络 网络 网络 different inner tracer function NLB aio KVM sidecar 云杉 云杉 database 云杉 云杉 云杉 网络 ALB K8s 网络 网 络 网络 网络 new rpc non-critical path 看云网更清晰 让开发者更自由
26 . 云杉 云杉 云杉 云杉 云杉 SQL慢,但没有慢日志 网络 网络 网 络 网络 网络 OpenResty Auth-svc handle_http() svc6 handle_http() 云杉 云杉 Auth-svc func1() 云杉 svc6 func1() 云杉 云杉 网络 网络 网络 网络 网络 svc6 func2() svc0 handle_rpc() svc7 handle() svc8 handle() envoy 云杉 云杉 云杉 云杉 云杉 网络svc1-python svc3-newrpc 网络 网 络 MySQL 网络 网络 ALB DNS svc4 svc5 svc9 handle() svc2 Span=3s log log log Tracing without blind spots Span=3s 云杉 云杉 Auto Intrumentation by + 云杉 AutoTracing by 云杉 云杉 gateway 网络 网络 网 络 网络 网络 Span=100ms different inner tracer function 无慢日志 NLB aio KVM sidecar 云杉 云杉 database 云杉 云杉 云杉 网络 ALB K8s 网络 网 络 网络 网络 new rpc non-critical path 看云网更清晰 让开发者更自由
27 . 云杉 云杉 云杉 云杉 云杉 API慢,但服务端‘秒’回?络 网络 网络 网 网络 网络 OpenResty Auth-svc handle_http() svc6 handle_http() 云杉 云杉 Auth-svc func1() 云杉 svc6 func1() 云杉 云杉 网络 网络 网络 网络 网络 svc6 func2() Span=3s svc0 handle_rpc() Span=3s svc7 handle() svc8 handle() envoy 云杉 云杉 云杉 云杉 云Span=100ms 杉网 网络svc1-python svc3-newrpc 网络 网 络 MySQL 网络 络 ALB DNS Span=100ms svc4 svc5 svc9 handle() svc2 log log log Tracing without blind spots 云杉 云杉 Auto Intrumentation by + 云杉 AutoTracing by 云杉 云杉 gateway 网络 网络 网 络 网络 网络 different inner tracer function NLB aio KVM sidecar 云杉 云杉 database 云杉 云杉 云杉 网络 ALB K8s 网络 网 络 网络 网络 new rpc non-critical path 看云网更清晰 让开发者更自由
28 .云杉 云杉 云杉 云杉 云杉 Demo 网络 网络 网络 网络 网络 云杉 Demo 1:Dubbo Webshop 云杉 云杉 云杉 云杉 网络 https://github.com/liuzhibin-cn/my-demo 网络 网 络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 看云网更清晰 让开发者更自由
29 .云杉 云杉 云杉 云杉 云杉 Demo 网络 网络 网络 网络 网络 云杉 Demo 2:Istio Bookinfo 云杉 云杉 云杉 云杉 网络 https://istio.io/latest/docs/examples/bookinfo/ 网络 网 络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 云杉 云杉 云杉 云杉 云杉 网络 网络 网络 网络 网络 看云网更清晰 让开发者更自由