【第5期】MetaFlow：开源的高度自动化可观测性平台

下载 3

云杉网络

发布于

350

人观看

#信息技术

展开查看详情

4 .云杉云杉云杉云杉云杉开发者一半时间去哪里了？网络网络网络网络网络埋点插码繁琐 Dev Stack多样 Infra Stack黑盒云杉云杉云杉云杉云杉网络网络网络网络 kafka 网络云杉云杉云杉云杉云杉网络网络网络网络网络云杉云杉云杉云杉云杉网络网络网络网络网络开发人员一半时间用于可观测性云杉云杉云杉云杉云杉网络网https://thenewstack.io/observability-takes-too-much-developer-time-so-automate-it/ 络网络网络网络看云网更清晰让开发者更自由

5 .云杉云杉云杉云杉云杉建设可观测性平台难网络网络网络网络网络云杉云杉云杉云杉云杉网络网络网络网络网络 High Cardinality Sampling 云杉云杉云杉云杉云杉网络网络网络网络网络 Simplebet 体育博彩公司,使用Lightstep 云杉云杉云杉云杉云杉网络网络网络网络网络云杉云杉云杉云杉云杉网络网络网络网络网络看云网更清晰让开发者更自由 Maintain

7 .云杉云杉云杉云杉云杉 MetaFlow从哪里来 —— DeepFlow 网络络网络网网络网络观测点及数据获取发送云原生应用可观测性关联第三方工具数据云杉云杉云杉云杉云杉网络网络网络网络网络企业混合云网黄金指标调用依赖基于应用代码和日志的可观测性公〔分布式〕络全栈链路知识图谱有云预处理 / 私︹云杉有云零云解析杉网性能指标云杉云杉云杉网络络调用日志网络应用链路网络网络侵 TraceID 网络链路指标入聚合监控数据︺ Flow 追踪数关联 1% 应据 Http、DNS、SQL、NoSQL、MQ、日志用采集器获带宽开销应 RPC、MQTT 云杉云杉云云杉云杉网络kafka 1% CPU 取网络用访问追踪杉网络错慢性能知识图谱网络网络压缩变更事件云平台API N 资源信息 F 容器编排API V TKE ACK 控制器企业混合云 10W采集器云杉云杉数据节点云杉云杉 20+云平台云杉网络网络云原生，水平扩展网络网络网络 100x ES/InfluxDB性能 1% 资源开销看云网更清晰让开发者更自由

8 .云杉云杉云杉云云 MetaFlow的使命和愿景网络网络网络杉网络杉网 https://github.com/metaflowys/metaflow 络使命：让开发者更自由。愿景：打造世界级可观测性平台。云杉云杉云杉云杉云杉网络网络网络网络网络可视化 Open 云杉云杉云杉云杉云杉网络网络网络网络网络数据云杉云杉 Automation 云杉数据库云杉云杉网络网络网络 Open 网络网络云杉云杉云杉云杉云杉网络网络网络网络网络看云网更清晰让开发者更自由

9 .云杉云杉云杉云杉云杉 MetaFlow的定位 —— 以Tracing/Request为核心网络网络络网网络网络云杉云杉云杉云杉云杉网络网络 Service Map 网络网络网络云杉云杉云杉云杉云杉网络网络网络网络网络 Flame Graph Automation 云杉云杉云杉云杉云杉网络网络网络网络网络 Raw Request 云杉云杉云杉云杉云杉网络网络网络网络网络看云网更清晰让开发者更自由

10 .云杉云杉云杉云杉云杉 MetaFlow的定位 —— 集成并丰富Metrics/Logging数据网络网络络网络网网络云杉云杉云杉云杉云杉网络网络 Service Map 网络网络网络云杉云杉云杉云杉云杉网络网络网网络网络 Flame 络 Integration Graph Automation & Enrich 云杉云杉云杉云杉云杉网络网络网络网络网络 Raw Request 云杉云杉云杉云杉云杉网络网络网络网络网络看云网更清晰让开发者更自由

11 .云杉云杉云杉云杉云杉 MetaFlow的软件架构网络网络网络网络网络 One Agent, One Server. 云杉云杉云杉云杉云杉网络网络网络网络网络 Any Tag: GUI options service/instance/ endpoint/... Eureka tag discovering MetaFlow SQL 云杉云杉云杉云杉 Observability with Automation 云杉网络网络 Any Stack: 网络网络网络 app/infra/... Controller Querier AutoMetrics AutoTracing Agent Server Labeler Ingester kafka 云杉云杉 Extension: 云杉 AutoTagging 云杉 SmartEncoding 云杉网络网络 agent/SDK/... 网络网络网络 Storage options telegraf 云杉云杉云杉云杉云杉网络网络网络网络网络看云网更清晰让开发者更自由

12 .云杉云杉云杉云杉云杉 MetaFlow Agent 网络网络网络网络网络云杉云杉云杉 AutoMetrics 云杉云杉网络网络网络 AutoTracing 网络网络 Any Tag: GUI options service/instance/ Powered by eBPF endpoint/... 资源、实例、API Eureka tag discovering MetaFlow SQL 云杉云杉云杉云杉 Observability with Automation 云杉网络网络 Any Stack: 网络网络网络 app/infra/... Controller Querier 开发技术栈、基础设施 AutoMetrics AutoTracing Agent Server Labeler Ingester kafka 云杉云杉 Extension: 云杉 AutoTagging 云杉 SmartEncoding 云杉网络网络 agent/SDK/... 网络网络网络指标、追踪、日志 Rust 实现 Storage options telegraf WASM可编程性云杉云杉云杉云杉云杉网络网络网络网络网络看云网更清晰让开发者更自由

13 .云杉云杉云杉云杉云杉 MetaFlow Server 网络网络网络网络网络云杉云杉云杉云杉云杉网络网络网络网络网络 GUI options Any Tag: service/instance/ Dashboard endpoint/... Eureka tag discovering MetaFlow SQL 云杉云杉云杉云杉 Observability with Automation 云杉网络网络 Any Stack: 网络网络网络 app/infra/... Controller Querier AutoTagging AutoMetrics AutoTracing Agent Server SmartEncoding Labeler Ingester kafka 云杉云杉 Extension: 云杉 AutoTagging 云杉 SmartEncoding 云杉网络网络 agent/SDK/... 网络网络网络 Storage options 分析数据库 telegraf 云杉云杉云杉云杉云杉网络网络网络网络网络看云网更清晰让开发者更自由

15 .云杉云杉云杉云杉云杉重要特性网络网络网络网络网络云杉云杉云杉云杉云杉网络网络网络网络网络全栈全链路高性能云杉云杉云杉云杉云杉网络网络网络网络网络可编程易扩展易维护云杉云杉云杉云杉云杉网络网络网络网络网络云杉云杉云杉云杉云杉网络网络网络网络网络看云网更清晰让开发者更自由

16 .云杉云杉云杉云杉云杉重要特性网络网络网络网络网络云杉云杉云杉云杉云杉网络网络网络网络网络全栈全链路高性能云杉云杉云杉云杉云杉网络网络网络网络网络可编程易扩展易维护云杉云杉云杉云杉云杉网络网络网络网络网络云杉云杉云杉云杉云杉网络网络网络网络网络看云网更清晰让开发者更自由

17 .云杉云杉云杉云杉云杉 AutoMetrics 网络网络网络网络AutoMetrics powered 网络by eBPF 云杉云杉云杉云杉云杉网络网络网络网络网络应用进程应用进程云杉云杉云杉云杉云杉网络网络网络网络网络 envoy envoy POD POD POD POD Any Dev Stack：框架、语言云杉 iptables、ipvs KVM 云杉 Any Infra云Stack：计算、存储、网络云 iptables、ipvs 云杉 KVM 网络网络杉网杉网 KVM 络络 KVM网络 VM VM L2GW、OvS L4~L7 GW L2GW、OvS 云杉 HOST 云杉云杉 Gateway 云杉云杉 HOST 网络网络网络网络网络看云网更清晰让开发者更自由

18 .云杉云杉云杉云杉云杉 AutoTagging 网络网络网络网络网络自动同步云API、K8s apiserver owner=xian zone=ZoneA env=prod Labels gyang 云杉 ~30种资源标签，100+自定义微服务标签云杉云杉云杉 deployType 云杉 releaseVer group=iot 网络网络网络网络 =canary sion=12 网络资源池网络资源容器资源服务区域 VPC 容器集群 app TKE ACK 可用区子网容器节点 version 容云平台 CIDR 命名空间 env 器云杉租户云 IP地址杉网容器服务云杉 group 云杉云杉网络络网络网络网络 NATGW Ingress owner 云资源 ALB Deployment stage 宿主机 … StatefulSet commitId 云服务器 ReplicaSet deployId 云杉云杉 POD ... 云杉云杉云杉网络网络网络网络网络云自动标记端到端数据标签主机名、IP地址、VPC/隧道ID、对等连接、NAT/LB ➔ 资源标签云杉工作负载、容器服务、命名空间云杉 ➔ 服务标签云杉云杉云杉网络网络网络网络网络看云网更清晰让开发者更自由

19 .云杉云杉云杉云杉云杉 Universal Service Map 网络网络网络网络AutoMetrics powered 网络by eBPF Total traffic Universal Service Map 云杉云杉云杉云杉云杉网络网络网络网络网络 HTTP RED (by K8s service) 云杉云杉云杉云杉云杉网络网络网络网络网络 TCP CPS, Zero window, … (by K8s service) Traffic (by K8s workload) 云杉云杉云杉云杉云杉网络网络网络网络网络 DNS RED TCP RTT、SRT、ART (by K8s workload) 云杉云杉云杉云杉云杉网络网络网络网络网络看云网更清晰让开发者更自由

20 .云杉云杉云杉云杉云杉 Universal Service Map 网络网络网络网络AutoMetrics powered 网络by eBPF 云杉云杉云杉云杉云杉网络网络网络网络网络云杉云杉云杉云杉云杉网络网络网络网络网络云杉云杉云杉云杉云杉网络网络网络网络网络云杉云杉 eBPF采集协议：TCP/UDP、HTTP 云杉云杉 1/2/S、Dubbo、MySQL、Redis、Kafka、DNS 云杉网络网络网络网络网络 eBPF采集指标：应用#Request / Error / Delay，网络吞吐、时延、异常（丢包/重传/零窗/异常建连）看云网更清晰让开发者更自由

21 .云杉云杉云杉云杉云杉重要特性网络网络网络网络网络云杉云杉云杉云杉云杉网络网络网络网络网络全栈全链路高性能云杉云杉云杉云杉云杉网络网络网络网络网络可编程易扩展易维护云杉云杉云杉云杉云杉网络网络网络网络网络云杉云杉云杉云杉云杉网络网络网络网络网络看云网更清晰让开发者更自由

22 .云杉云杉云杉云杉云杉？分布式链路追踪的盲点网络网络网络网络网络链路追踪有多全？？云杉云杉云杉云杉云杉网络网络网络网络网络？ OpenResty 云杉云杉 Auth-svc handle_http() 云杉云杉 svc6 handle_http() 云杉网络网络网络网络网络 Auth-svc func1() svc6 func1() svc6 func2() svc0 handle_rpc() svc7 handle() svc8 handle() 云杉云杉云杉 envoy 云杉网云杉网络网络网络络网络 svc1-python svc3-newrpc MySQL ALB DNS svc4 svc5 svc9 handle() svc2 log log log 云杉云杉云杉云杉云杉网络网络网络网络网络看云网更清晰让开发者更自由

23 AutoTracing 网络网络云杉云杉网络网络 Auth-svc handle_http() Auth-svc func1() 云杉云杉网络网络 svc0 handle_rpc() svc1-python 云杉云杉网网络络 svc2 云杉云杉网络网络看云网更清晰 .云杉云杉云杉云杉云杉网络网络网络 AutoTracing by 云杉云杉云杉网络网络网络 OpenResty svc6 handle_http() svc6 func1() svc6 func2() 云杉云杉云杉网络网络网络 svc7 handle() svc8 handle() envoy svc3-newrpc 云杉网云杉 MySQL 云杉 ALB 络网络网络 svc9 handle() DNS svc4 svc5 log log log 云杉云杉云杉网络网络网络让开发者更自由

24 .云杉云杉云杉云杉云杉 Tracing without blind spots 网络网络络网网络网络 OpenResty Auth-svc handle_http() svc6 handle_http() 云杉云杉 Auth-svc func1() 云杉云杉 func1() svc6 云杉网络网络网络网络 svc6 func2() 网络 svc0 handle_rpc() svc7 handle() svc8 handle() envoy 云杉云 svc1-python 杉网 svc3-newrpc 云杉云杉云杉网络络网络网络 MySQL 网络 ALB DNS svc4 svc5 svc9 handle() svc2 log log log Tracing without blind spots 云杉网络云杉网络 Auto Intrumentation by 云杉网 + AutoTracing by 云杉网络云杉网络 gateway 络 different inner tracer function NLB aio KVM sidecar 云杉云杉 ALB K8s 云 database 杉网云杉云杉网络网络络网络网络 new rpc non-critical path 看云网更清晰让开发者更自由

25 . 云杉云杉云杉云杉云杉 Tracing without blind spots 网络络网络网网络网络 OpenResty Auth-svc handle_http() svc6 handle_http() 云杉云杉 Auth-svc func1() 云杉 svc6 func1() 云杉云杉网络网络网络网络网络 svc6 func2() svc0 handle_rpc() svc7 handle() svc8 handle() envoy 云杉云杉云杉云杉云杉网络svc1-python svc3-newrpc 网络网络 MySQL 网络网络 ALB DNS svc4 svc5 svc9 handle() svc2 log log log Tracing without blind spots 云杉云杉 Auto Intrumentation by + 云杉 AutoTracing by 云杉云杉 gateway 网络网络网络网络网络 different inner tracer function NLB aio KVM sidecar 云杉云杉 database 云杉云杉云杉网络 ALB K8s 网络网络网络网络 new rpc non-critical path 看云网更清晰让开发者更自由

26 . 云杉云杉云杉云杉云杉 SQL慢，但没有慢日志网络网络网络网络网络 OpenResty Auth-svc handle_http() svc6 handle_http() 云杉云杉 Auth-svc func1() 云杉 svc6 func1() 云杉云杉网络网络网络网络网络 svc6 func2() svc0 handle_rpc() svc7 handle() svc8 handle() envoy 云杉云杉云杉云杉云杉网络svc1-python svc3-newrpc 网络网络 MySQL 网络网络 ALB DNS svc4 svc5 svc9 handle() svc2 Span=3s log log log Tracing without blind spots Span=3s 云杉云杉 Auto Intrumentation by + 云杉 AutoTracing by 云杉云杉 gateway 网络网络网络网络网络 Span=100ms different inner tracer function 无慢日志 NLB aio KVM sidecar 云杉云杉 database 云杉云杉云杉网络 ALB K8s 网络网络网络网络 new rpc non-critical path 看云网更清晰让开发者更自由

27 . 云杉云杉云杉云杉云杉 API慢，但服务端‘秒’回？络网络网络网网络网络 OpenResty Auth-svc handle_http() svc6 handle_http() 云杉云杉 Auth-svc func1() 云杉 svc6 func1() 云杉云杉网络网络网络网络网络 svc6 func2() Span=3s svc0 handle_rpc() Span=3s svc7 handle() svc8 handle() envoy 云杉云杉云杉云杉云Span=100ms 杉网网络svc1-python svc3-newrpc 网络网络 MySQL 网络络 ALB DNS Span=100ms svc4 svc5 svc9 handle() svc2 log log log Tracing without blind spots 云杉云杉 Auto Intrumentation by + 云杉 AutoTracing by 云杉云杉 gateway 网络网络网络网络网络 different inner tracer function NLB aio KVM sidecar 云杉云杉 database 云杉云杉云杉网络 ALB K8s 网络网络网络网络 new rpc non-critical path 看云网更清晰让开发者更自由

28 .云杉云杉云杉云杉云杉 Demo 网络网络网络网络网络云杉 Demo 1：Dubbo Webshop 云杉云杉云杉云杉网络 https://github.com/liuzhibin-cn/my-demo 网络网络网络网络云杉云杉云杉云杉云杉网络网络网络网络网络云杉云杉云杉云杉云杉网络网络网络网络网络云杉云杉云杉云杉云杉网络网络网络网络网络看云网更清晰让开发者更自由

29 .云杉云杉云杉云杉云杉 Demo 网络网络网络网络网络云杉 Demo 2：Istio Bookinfo 云杉云杉云杉云杉网络 https://istio.io/latest/docs/examples/bookinfo/ 网络网络网络网络云杉云杉云杉云杉云杉网络网络网络网络网络云杉云杉云杉云杉云杉网络网络网络网络网络云杉云杉云杉云杉云杉网络网络网络网络网络看云网更清晰让开发者更自由

1点赞

0收藏

3下载