【第4期】星火燎原 DeepFlow漫谈之技术、场景、方案

下载 2

云杉网络

发布于

197

人观看

#信息技术

展开查看详情

5 .进阶2.0-关于Telemetry Network Telemetry 是什么？ OpenTelemetry 是一组标准和工具的集合，旨在管理观测类数据，如 trace、 metrics、logs 等 (未来可能有新的观测类数据类型出现)。 Network Telemetry技术不是什么？网络设备厂商提供的基于设备计算能力上传Telemetry数即 OpenTelemetry 不提供与可观测性相关的后端服务，这类后端服务通常提供的据的监控技术，一般通过特定的专用芯片实现相应网络状是存储、查询、可视化等服务。态指标的计算和传输（gRPC\INT）至后端分析器展示。帮助我们解决的是数据采集传输的标准化问题基于 OpenTelemetry 可为观测数据提供一套标准的采集、处理、导出流程，并在处理环节根据 Telemetry技术的关键在于预置于前端的团队需求规范化观测数据，便于后续采用标准化的方案使用观测数据，如监控、告警服务。指标计算和标准化传输能力 simplify the growing complexity © 2022, YUNSHAN Networks Technology Co., Ltd. All rights reserved.

6 .进阶3.0-DeepFlow流量数据包处理（BPF） DeepFlow 业务VM 业务VM 业务VM 业务POD 业务POD 业务POD 采集POD (HostNet) DeepFlow vSwitch / Bridge 采集器进程 CNI vSwitch / Bridge DaemonSet 虚拟化 - KVM 容器 - K8s Node (VM/BM) • 零干扰：无需对vSwitch和KVM做任何配置、不监听任何端口 • 零干扰：无需对vSwitch和Node做任何配置、不监听任何端口 • 零依赖：用户态进程部署运行，无任何Lib依赖 • 全自动：DaemonSet POD部署运行，随K8s自动扩展 • 零侵入：不侵入业务VM，一个进程采集所有业务VM流量 • 零侵入：不侵入业务POD，可采集所有业务POD及本Node流量业务业务业务采集 SDK POD POD POD POD Lib 业务VM 业务VM br 业务VM (K8s Node) Sidecar DeepFlow Agent vSwitch / Bridge 采集器进程虚拟化 - KVM 分光 • 宿主机+KVM + K8s混合场景，自动切换流量采集，最低消耗采集全网镜像 simplify the growing complexity © 2022, YUNSHAN Networks Technology Co., Ltd. All rights reserved.

8 . 进阶4.0—DeepFLow全链路监控实现 OpenTelemetry SkyWalking DeepFlow without Extension (Team A) (Team B) ALB/NLB/APIGW/NATGW/K8s NIC/Infra SVC/Sidecar/... √ infra service inner functions NAT NLB K8s NICs break by aio sidecar DeepFlow 代码零侵入监控方案 ALB infra service unexpected path not yet non-critical path instrument • 业务代码零修改 DeepFlow with Skywalking/OpenTelemetry Extension • 业务进程零重启 * DeepFlow v6支持的全链路追踪能力 • 编程语言无感知 OpenResty • 网络+系统+应用指标 Auth-svc handle_http() svc6 handle_http() • 任意服务的访问请求日志 Auth-svc func1() svc6 func1() • 网络+应用全栈全链路追踪， svc6 func2() 与应用链路追踪通过TraceID关联 svc0 handle_rpc() svc7 handle() svc8 handle() ☺ envoy svc1-python svc3-newrpc 全链路追踪 MySQL ALB DNS svc4 svc5 svc9 handle() svc2 log log log simplify the growing complexity © 2022, YUNSHAN Networks Technology Co., Ltd. All rights reserved.

9 . 数据中心可观测性技术图谱容器资源监控数据 APM应用性能数据采集器计算资源客户端性能分析与拨测设备网络监控 NetFlow\Sflow 采集器采集器 SNMP Network Telemetry 采集器采集器 WEB SDK 移动端 SDK Leaf WAN NFV区域 PAAS服务采集器 NAT GW Firewall Router Spine L4 LB L7 LB 采集器 Redis DB 中间件网关SW EIP 车载端SDK VPCGW 镜像流量数据网关服务器集群采集器消息队列 SLB 智能DNS 物理网络NPM 采集器生产云资源池-AZ simplify the growing complexity © 2022, YUNSHAN Networks Technology Co., Ltd. All rights reserved.

11 .DeepFlow可观测性平台零侵扰的采集与分析发送零侵扰的云原生应用可观测性关联插码、打桩的可观测性数据 * 目前支持数据关联，DeepFlow v6正在迭代支持接收各类开源数据源云原生应用环境全调用关系知识图谱景应链路追踪黄金指标用数据分析图技术请求栈解析性能指标 kafka 原调用日志应用链路应用链路（Tracing） TraceID 始指标链路追踪采集器数聚合应用日志（Logging）监控数据混 1% CPU Flow 合据云采标签 1% 资源、服务、API标签，变更事件 / 关联容集带宽开销器数据标签数据变更事件压缩云平台API 资源信息网容器编排API 关 TKE ACK 控制器企业混合云 10W采集器数据节点 20+种云/容器云原生，水平扩展 100x ES/InfluxDB性能 simplify the growing complexity © 2022, YUNSHAN Networks Technology Co., Ltd. All rights reserved.

12 . DeepFlow服务场景地图 4 公有云 2 数据中心区域运营商5G核心网公有云基站车载端SDK 计算资源 3 运营商基站边缘云 5 终端区域灾备数据中心 Mobile SDK Leaf WAN NFV区域 PASS服务 Spine NAT GW Firewall Router L4 LB WEB SDK L7 LB Redis DB 中间件网关SW EIP VPCGW 镜像流量数据网关服务器集群消息队列 SLB 智能DNS 分支机构 1 资源池内生产云资源池-AZ simplify the growing complexity © 2022, YUNSHAN Networks Technology Co., Ltd. All rights reserved.

13 . 企业-多地数据中心混合云可观测平台建设要求：面向多地数据中心、异构混合云资源池的一体化可观测性平台分支机构 1 混合云可观测性平台采集器专属服务器 Region X，主区域 NoC、SoC、大数据运维、业 AZ 1 AZ n 策略控制：分支机构 N 务分析工具、IT审计平台等控制器控制器采集器 API 主控制器采集器备控制器采集器 ◆ 采用“主、备、从”控制器部署模式，由专属服务器 ESXi 专属服务器采集器采集器主控制器进行控制平面策略配置，再通过专线公有云 Internet KVM KVM 采集器网络同步至其他区域从控制器。采集器容器时序数据库容器数据存储： VPC互联 VPC 时序数据库 192.168.0.0/16 Internet 路由 ◆ 不进行集中式的数据存储，每个区域内部 ACL ACL 采集器将监控数据发送至本区域内部的数子网 192.168.0.0/24 子网 192.168.1.0/24 专有网络 Region Y 据节点（时序数据库），在多个数据中心 AZ 1 安全组安全组安全组控制器内部形成分布式的时序存储集群。从控制器集中展示：采集器采集器采集器采集器控制器专属服务器容器 On VM 容器 On VM Workload 从控制器 ◆ 当平台进行可观测性数据查询时，可以分采集器 KVM 时序数据库时序数据库容器采集器别下发查询策略至各区域内的数据节点，并上传同步查询结果数据，形成混合云一 API请求路径体化的可视化页面。数据采集路径 simplify the growing complexity © 2022, YUNSHAN Networks Technology Co., Ltd. All rights reserved.

14 .证券（基金）-混合云大型分布式业务网络监控 OTC及TA系统同花顺 ADB系统 FICC系统 CMDB系统报盘系统公募基金系统道和系统产品中心云平台 IT服务管理系统 IT知识库理财APP 综合理财系统资管系统君弘系统锐智系统自营业务系统用户中心安全扫描系统容量管理系统业务层集中清算系统第三方存管系统证券APP 网上交易 UAT测试系统营运业务系统运维大数据平台智能运维系统核心交易类业务互联网类业务综合支撑类业务运行管理类业务全业务场景分析开放共享控制器网络性能全链路诊断应用性能分析业务性能全景图数据共享与对接资源用量采集策略全链路网络分析 SQL/NoSQL性能分析全自动业务网络拓扑流量数据包分发能力分发策略运行日志多维度网络流量搜索 HTTP/DNS服务分析业务画像全自动数据API 图谱多资源池一体化管理全网PCAP包下载 RPC/MQ性能分析重要业务站点监控全网网络数据共享存储周期拨测管理网络拨测分析代码级应用协议分析全网全天候请求日志平台资源对接流量采集器探针Trident 数据采集层 EBPF AF_PACKET 实时拨测算力下沉单独管理平面数据包分发资源服务层中间件 Redis 数据库虚拟机网元层容器资源云资源池层 simplify the growing complexity © 2022, YUNSHAN Networks Technology Co., Ltd. All rights reserved.

15 .运营商-端到端分析场景横向端到端场景纵向端到端场景全局端到端场景端到端 SaaS PaaS IaaS 业务应用场景 PaaS组件分析资源池分析业务视角分析系统视角分析租户视角分析业务全景视图流程分析全局端到端业务全景视图业务统一监控业务资源管理业务指标分析业务性能分析横向端到端纵向端到端 SaaS 业务系统租户应用监控服务监控进程监控 APP监控 … 应用层业务全局系统全局租户全局端到端调用拓扑调用拓扑调用拓扑运维能力 PaaS 单笔业务系统全局租户全局组件监控容器监控数据库监控中间件监控 … 组件层调用链资源概览资源概览业务资源系统资源租户资源 IaaS 性能监控性能监控性能监控服务器/虚拟机监控存储监控网络链路 … 资源层 … … … 拨测 APM 日志网络端到端用户模拟网络质量调用链用户行为交易日志服务日志网络状态性能指标采集应用性能接口性能服务性能前端性能应用日志网络日志业务调用关系流量报文 simplify the growing complexity © 2022, YUNSHAN Networks Technology Co., Ltd. All rights reserved.

16 .运营商-5G核心网网元监控在5GC中，存在大量的、复杂的NFS间服务调用。如图所示： AMF（Access and Mobility Management Function）中的NFS调用UDM(Unified Data Management)中的NFS获取用户信息，这个过程中，并不是像传统环境中直观简单。 AMF、UDM中的NFS运行在物理服务器之上的虚拟机中的容器POD，方案可展示网元POD之间的服务调用关系，拆解网络路径，全栈跟踪服务访问性能，判断5GC环境中异常、延时的问题点。 simplify the growing complexity © 2022, YUNSHAN Networks Technology Co., Ltd. All rights reserved.

17 . 运营商-算力网络关键度量平台 DeepFlow可以作为算网大脑的度量数据支撑、也是刻画算网地图的重要手段。中心云政企云移动云行业云云PE 云PE 云PE 网PE 网PE 网PE 网PE 边缘云公有云边缘云社会算力业务全景拓扑业务相关的算力、运力、存力的性能指标算力网络是利用云网融合技术以及SDN／NFV等新型网络技术，将边缘计算节点、云计算节点以及含广域网在内的各类网络资源深度融合在一起，减少边缘计算节点的管控复杂度，并通过集中控制或者分布式调度方法与云计算节点的计算和存储资源、广域网的网络资源进行协同，组成新一代信息基础设施，为客户提供包含计算、存储和连接的整体算力服务，并根据业务特性提供灵活、可调度的按需服务。 simplify the growing complexity © 2022, YUNSHAN Networks Technology Co., Ltd. All rights reserved.

18 .公有云-服务互联网客户的Saas平台轻量级部署于Workload 中，容器环境采用 DaemonSet或Sidecar方式部署。分钟级实现云上业务监控全覆盖。 DeepFlow® Cloud 创新性的为公有云客户提供数据包粒度的网络及应用性能分析，提供强大的指标数据能力，针对不同维度的访问关系对，端到端性能等提供 12 类 110 种指标量。和已有的监控工具实现关联追踪。 simplify the growing complexity © 2022, YUNSHAN Networks Technology Co., Ltd. All rights reserved.

19 . 车联网-云、网、边、端的一体化监控手段 I. 车联网场景：V2C、V2V、V2X II. 覆盖云-边-端监控点 III. 云边端、车端可观测能力云边端采集器、控制器、数据节点集成与数据开放 CPU： 1Core MEM：1G 带宽：支持传输指标数据、日志、数据包通过VehicleID、TraceID、网络流等将车联网监控拼连起来车端采集器：网络延时云内服务资源消耗、稳定性、自身监控车端拨测调用、追踪、全栈 CPU：200MHz MEM：256M 带宽：仅传输指标数据，~业务流量的0.1% 车端拨测应用错慢性能状态全景视图、云端服务性能、服务能力评估、快速排障定位、微服务调用关系、数据开放 simplify the growing complexity © 2022, YUNSHAN Networks Technology Co., Ltd. All rights reserved.

21 .某新型车企云原生应用监控：可观测性平台客户环境：生产应用基于多云IT基础设施环境；覆盖1000+容器节点，数量按需增加，运行微服务架构应用；应用分析平台基于Skywalking， Tracing Logging 告警面向各部门视图日志分析平台基于Elasticsearch，监控告警出口为Zabbix；关联键值：关联键值： TraceID、SpanID、 Pod、Node、需求： WEBHOOK DataSource Plugin SegmentID、URL Service、VPC、在云环境中，没有网络监控手段，容器间尤为迫切，排障定界难。 VM 应用实现涉及部门较多，应用链路跟踪分析很难区分应用侧与基础设施侧。导致微服务应用性能的整体评估粒度粗。业务部门、运营部门、云部门对指标监控关注侧重点不一。建设： Metric 部署DeepFlow平台，按需拉起新增容器节点。具备容器环境中的网络性能全栈监控。对接Skywalking、Elasticsearch平台，初步实现对微服务应用的整体可观测性能力。技术专业不同，针对业务部门、运营部门需求，对接Grafana视图，提取汇总指标，针对性展示指标监控变化。 simplify the growing complexity © 2022, YUNSHAN Networks Technology Co., Ltd. All rights reserved.

22 .DeepFlow与Grafana的结合，面向业务运维团队提供Dashboard 微服务调用关系总体流量趋势微服务HTTP请求、时延、异常微服务流量趋势微服务TCP活跃、新建、零窗微服务建连时延、系统时延、应用时延微服务DNS请求、异常 simplify the growing complexity © 2022, YUNSHAN Networks Technology Co., Ltd. All rights reserved.

24 .某金融行业多云业务全景视图多资源池分布式业务流量全 apollo-portal 景拓扑图某容器微服务业务资源池流量全景拓扑图 CMP业务 apollo-admin hsiar-entrance hsiar apollo-config 各个项目组业务群点击流量路径，展示全 mas 栈链路追踪拓扑，以及 workflow workbench 对途径虚拟网元节点进行性能分析诊断全栈链路追踪性能分析详情表 simplify the growing complexity © 2022, YUNSHAN Networks Technology Co., Ltd. All rights reserved.

25 .某证券-中间件服务全景可视 DeepFlow实现混合云一体化监控的流量全景拓扑，某金融业务中Rocketmq、Redis等中间件部署在私有云资源池中，其他相关业务应用为容器化部署，通过DeepFlow全自动流量拓扑直观地展示跨资源池通信业务的性能指标诊断情况，实现业务故障链路快速定界定位。 simplify the growing complexity © 2022, YUNSHAN Networks Technology Co., Ltd. All rights reserved.

26 .某银行-大型分布式业务快速告警及下钻在全局业务视图中发现某一条网点击异常告警的路络路径指标异常径，展示详细指标告警。分析和全链路分析。发现是由于 “服务端直接重置”导致的建联失败。再将所有访问该应用的请求展开，发现所有到将服务端端口展开， 10911端口应用均有建展示在该路径上是连失败的问题，访问其访问MQ 10911端他端口正常。口引发的重置。 simplify the growing complexity © 2022, YUNSHAN Networks Technology Co., Ltd. All rights reserved.

0点赞

1收藏

2下载