边缘计算视觉基础设施白皮书

1 .边缘计算视觉基础设施 白皮书 边缘计算产业联盟、机器视觉产业联盟、智能视觉产业联盟联合发布 2022年5月 

2 . 随着5G、大数据及产业互联网的发展，以边缘计算为代表的算力下 PREFACE 前言 沉成为新的发展趋势。未来越来越多的智能场景将发生在边缘端，而智 能视觉作为边缘智能的重要场景之一，是边缘计算发展的重要使能器， C） 两者的结合将更好地满足行业智能化发展的需求。 本白皮书聚焦于工业、安防、体验交互三大领域，从应用场景及业 务需求、发展趋势和面临的挑战出发，提出未来构建边缘计算视觉基础 设施的技术框架，并结合标准研究、产业实践进行论证。 EC （ 编写单位与人员： （排名不分先后） 中国移动通信有限公司研究院 喻炜、郭漫雪、王萍、苗丹、杨晓伟 盟 联 华为技术有限公司 黄还青、张亚兰 业 凌云光技术股份有限公司 张见、熊伟、颜冬青 产 中国信息通信研究院 王哲 腾讯云计算（北京）有限责任公司 刘海涛 算 浪潮通信技术有限公司 冯景、王晔彤 计 中国电信上海研究院 史敏锐 缘 上海极清慧视科技有限公司 赵伟时 边 南京大学 马展 软通智慧科技有限公司 闫江 

3 .CONTENTS 目录 03 边缘视觉基础 C） 设施技术总体架构 3.1 边缘视觉标准进展情况 29 3.2 边缘视觉基础设施技术架构 30 EC 01 04 边缘计算及 边缘视觉技术的 视觉产业发展背景 应用实践 （ 1.1 边缘计算产业发展情况 3 4.1 工业高可靠性视觉质检 32 1.2 视觉产业发展情况 5 4.1.1 案例背景与需求 32 1.2.1 1.2.2 工业领域机器视觉发展概况 安防监控领域视觉发展概况 5 6 盟 4.1.2 4.1.3 实施方案 实施效果 33 33 1.2.3 体验交互领域视觉发展概况 8 4.2 无人机8K+AI的精细化巡检 34 联 1.2.4 其他领域视觉发展概况 10 4.2.1 案例背景与需求 34 1.3 边缘视觉产业发展现状 10 4.2.2 实施方案 34 业 4.2.3 实施效果 35 02 4.3 电力远程视频自动巡检 35 边缘视觉 产 4.3.1 案例背景与需求 35 典型应用场景及需求 4.3.2 实施方案 36 2.1 概述 12 4.3.3 实施效果 36 算 2.2 工业领域机器视觉应用场景及需求 13 4.4 VR全景视角超高清采编播 37 2.2.1 工业领域边缘视觉发展概述 13 4.4.1 实施背景与需求 37 计 2.2.2 工业领域典型应用场景 13 4.4.2 实施方案 37 2.2.3 工业领域的未来挑战 17 4.4.3 实施效果 38 缘 2.3 安防监控领域视觉典型应用场景及需求 17 05 2.3.1 安防监控领域边缘视觉发展概述 17 2.3.2 安防监控领域典型应用场景 18 边缘视觉技术及 边 应用发展展望 2.3.3 安防监控领域的未来挑战 23 2.4 体验交互领域视觉典型应用场景及需求 25 5.1 问题与挑战 40 2.4.1 体验交互领域边缘视觉发展概述 25 5.2 发展倡议 40 2.4.2 体验交互领域典型应用场景 26 缩略语列表 41 2.4.3 体验交互领域的未来挑战 28 参考文献 42 

4 . 边缘计算视觉基础设施白皮书 C） EC 01 （ 边缘计算及视觉产业发展背景 盟 联 业 产 算 1.1 边缘计算产业发展情况 计 2015年8月，ETSI第一次提出了MEC的验证框架 边缘计算产业联盟（ECC）在2017年发布的《边 缘 （Proof of Concept Framework），经过多年的演 缘计算参考架构1.0》中给出了边缘计算1.0的定义。 进，相关标准体系也逐渐清晰。ETSI定义MEC意义在 边缘计算是在靠近物或数据源头的网络边缘侧，融合 边 于将边缘计算从IOE的视角扩展到ICT的视角，是“为 网络、计算、存储、应用核心能力的开放平台，就近 应用开发者和内容提供商提供在（运营商的）网络边 提供边缘智能服务，满足行业数字化在敏捷联接、实 缘侧的云计算能力和IT服务，这一环境的特点是极低 时业务、数据优化、应用智能、安全与隐私保护等方 的时延和极大的带宽，支持针对应用侧无线网络的实 面的关键需求。它从边缘计算的位置、能力与价值等 时访问。” 维度给出定义，在边缘计算产业发展的初期有效牵引 —3— www.ecconsortium.net 

5 .产业共识，推动边缘计算产业的发展。 成为产业界的关注焦点，边缘计算2.0应运而生。 相比集中部署的云计算服务，边缘计算解决了时 边缘计算2.0：主要包括三类落地形态：云边缘、 延过长、汇聚流量大等问题，为实时性和带宽要求较 边缘云和边缘网关。围绕边缘计算的技术体系构建， C） 高的业务提供更好的支持。随着5G和工业互联网的快 一方面涉及相关通用技术的应用，主要包括计算、存 速发展，新兴业务对边缘计算的需求十分迫切，从产 储、连接、云、视觉、人工智能等；一方面涉及边 业共识走向落地实践，边缘计算的主要落地形态、技 缘计算特有的技术能力，主要包括边缘原生、边云协 术能力发展方向、软硬件平台的关键能力等问题逐渐 同、边缘智能、边缘连接等。 EC （ 盟 联 图1.1 边缘计算2.0 ——摘自《边缘计算安全白皮书》（ECC 2019版） 业 云边缘是云边缘形态的边缘计算，是云服务在边 目前边缘计算行业处于期望膨胀期，随着国家不 缘侧的延伸，逻辑上仍是云服务，主要的能力提供依 断加快新基建的战略部署，经济社会各领域正逐步向 产 赖于云服务或需要与云服务紧密协同。如华为云提供 数字化转型升级，涌现出海量边缘数据处理诉求。前 的IEF解决方案、阿里云提供的Link Edge解决方案、 瞻预计未来3-5年国内边缘计算市场有望比肩大数据市 算 AWS提供的Greengrass解决方案等均属于此类。 场，到2025年我国超50%的企业生成数据将在边缘数 边缘云是边缘云形态的边缘计算，是在边缘侧构 据中心处理，至少50%新建物联网项目在边缘使用容 建中小规模云服务能力。边缘服务能力主要由边缘云 器进行应用程序生命周期管理，市场规模将达到万亿 计 提供，集中式DC侧的云服务主要提供边缘云的管理调 元级别。 度能力。如多接入边缘计算（MEC）、内容分发网络 边缘计算产业上游包括设备供应商，整体产品朝 缘 （CDN）、华为云提供的IEC解决方案等均属于此类。 小型化、轻量化和集成化方向发展，国内厂家主要包括 边缘网关是边缘网关形态的边缘计算，以云化技 华为、浪潮等，国际厂家包括艾默生、思科、施耐德 边 术与能力重构原有嵌入式网关系统，边缘网关在边缘 等；边缘计算产业中游为边缘服务商，提供边缘网络和 侧提供协议/接口转换、边缘计算等能力，部署在云侧 专业化集成运营服务等，主要厂家包括三大电信运营商 的控制器提供边缘节点的资源调度、应用管理与业务 和华为、腾讯、阿里和百度等互联网公司；下游为终端 编排等能力。如新型工控、视频NVR、XR类双向互动 客户，涉及安防、交通、气象、航运、保险、农业、家 CDN等均属于此类。 庭、健康、能源、零售等多个垂直行业。 —4— www.ecconsortium.net 

6 . 边缘计算视觉基础设施白皮书 1.2 视觉产业发展情况 C） 视觉产业在此主要定位于机器视觉的研究领域。 1.2.1 工业领域机器视觉发展概况 机器视觉系统是一个包含硬件、软件和算法等诸多单 工业视觉系统可以代替人眼完成检测、测量、 元的应用系统，主要包括成像和图像处理两大部分， 识别和定位等工作，不仅可以克服人眼标准的不一 EC 前者通过硬件部分实现，后者由算法及软件构成的视 致性，为行业制定品质管控的数字标准，还能在高 觉控制系统负责，对成像进行处理分析，输出分析结 速、高光谱、高分辨率、高灵敏度、高可靠性等方 果至执行机构。 面全面超越人眼极限，已广泛应用于电子制造、包 （ 目前机器视觉的主要应用领域包括工业、安防、 装印刷、汽车制造、食品饮料等众多生产性行业和 体验交互以及其他领域，如ADAS和AGV等。 服务性行业。 盟 联 业 产 算 图1.2 机器视觉系统示意图 计 机器视觉国内企业多以系统集成为主，由于中国 升到 2019 年的 48.66%，国内机器视觉行业及相关产 本土企业对于市场及客户需求更加了解，从而在系统 品也正在慢慢打入国际市场。 集成及设备制造方面优势明显，也出现了很多优秀的 目前消费电子仍是工业机器视觉主要应用行业， 缘 机器视觉公司，如天准科技、矩子科技、凌云光等公 当前中国大陆已经成为全球最大的3C产业研发和制造 司。随着多年来的国家政策支持和国内企业研发、生 基地，在3C产业链上机器视觉技术基本覆盖元器件、 边 产技术水平的提升，机器视觉行业中的众多国外品牌 部件和成品的全制造环节的自动化及品质检测。在汽 的技术领先优势在不断减弱，国产工业机器视觉产品 车制造、半导体等行业，机器视觉技术广泛应用于加 凭借不输国外品牌的质量、更低的价格及更优质的服 工装配、引导定位、校验检测等各个环节，机器视觉 务，在国内市场中销售额占比从 2016 年的 38.97%提 硬件产品和算法平台帮助实现汽车及半导体行业严苛 —5— www.ecconsortium.net 

7 . C） EC （ 盟 联 图1.3 机器视觉产业图谱 ——摘自《机器视觉发展白皮书》（2021版） 业 的质量要求，进一步提升精益智造水平。机器视觉作 数据中自动地学习到有效特征并实现模式分类，可以实 为第四次智能化科技革命的典型载体，帮助制造业实 现通用问题的统一建模和识别。机器视觉融合AI已成为 产 现自动化和智能化，是现代化制造提质、增效、降 未来的大趋势，云端和边缘端智能计算将为机器视觉系 本、减排的刚需，是推动智能制造的关键引擎。随着 统提供深度学习和行业知识图谱技术的智能计算技术， 算 我国进入全面推进智能制造阶段，机器视觉将向全行 助力检测系统的数据传输效率、数据安全性、海量数据 业覆盖，应用市场需求急剧扩增，因此智能制造为机 计算力以及检测准确性。 器视觉提供了巨大的需求牵引，是机器视觉的重大战 1.2.2 安防监控领域视觉发展概况 计 略机遇。 作为安全防范体系的重要内容之一，视频监控具 人工智能及计算成像技术的发展，极大促进了工 有技术先进、防范能力极强、便利直观等优势，通过 缘 业视觉的发展。计算成像赋予传统光学诸多难以获得甚 安装视频监控系统，可以对所监控范围内的情况进行 至无法获得的革命性优势，如提高成像的质量，简化成 实时监视和分析，并且可以将被监控范围内的场景等 像系统，突破光学系统与图像采集设备的物理限制，使 全部记录下来，为以后处理某些意外情况和事件等提 边 成像系统在信息获取能力、功能、性能指标（相位、相 供最有力的证据和支持。此外，视频监控系统还可以 干度、三维形貌、景深延拓、模糊复原、重聚焦）等方 和报警系统等相连，实现自动报警，达到有效避免某 面显著提升。通过深度学习技术直接将图像特征提取与 些安全事故发生的目的。 模式分类集合在一起，然后根据具体的模式分类目标从 近年来，随着雪亮工程的推进使得超过千万台监 —6— www.ecconsortium.net 

8 . 边缘计算视觉基础设施白皮书 控摄像机密布在国内城镇的大街小巷，使得国内城市 模拟摄像机、硬盘录像机DVR到网络录像机NVR、网 级的视频监控系统从数字化、网络化，逐步过渡到高 络摄像机等仅用于视频的录像存储系统，发展到可以 清化、智能化，目前正进一步向包含视频云、AI及视 叠加智能分析功能、实时告警的高清智能的视频监控 C） 频大数据的深度智能时代发展推进。相应的视频监控 分析系统，如智能IPC、AVS等，进入融合视频云、AI 系统等设备也经历了从最初的模拟视频录像机VCS、 技术、视频大数据技术于一体的深度智能时代。 EC （ 图1.4 视频监控发展历程 AI算力成本降低使得AI可以在云边端部署应用， 盟 侧的IPC呈现高分辨率、高对比度、高变倍、多光谱、 联 而深度学习开源软件及算法框架又使得AI迭代加快， 多维信息感知、多种AI分析算法、低照度、低码率、 算法开发迅速；GB/T 28181、GA/T 1400、ONVIF等 低成本三高三多三低的技术发展趋势；边缘侧的设备 业 行业标准更加成熟，使得跨厂商设备及系统间的视 呈现图像分析、录像存储、网络传输等多功能融合趋 频图像及结构化数据的联网共享成为可能；H.265及 势；在云端，专网建设呈现出云化、分层、解耦的趋 H.264的应用进一步降低视频的存储成本，进而又推 势；同时运行在公有云上的AI服务、智能化视频数据 产 动了视频像4K，8K超高清发展。随着技术的发展，端 服务平台、行业性SaaS应用等新业态开始茁壮成长。 算 计 缘 边 图1.5 技术引领监控发展 —7— www.ecconsortium.net 

9 . 1.2.3 体验交互领域视觉发展概况 制造和组装开始，集成了操作系统与开发工具、应 体验交互领域近年来主要涉及新兴技术如VR/AR 用、内容、销售分发等多种供应商的生态系统，产业 等带来的用户交互及体验提升。VR/AR产业是由硬件 价值链中的技术设备环节对于行业发展有极大影响。 C） EC （ 盟 联 业 图1.6 AR/VR发展概略 ——资料来源：vrfocus, virtuelspeech,中信建投证券研究发展部 产 视觉感知与处理是AR/VR的一项关键技术，包括 始的输入设备、输出设备、芯片中都需要考虑图像视 硬件设备与操作系统、内容制作等环节，从零部件开 觉信息的传递与处理。 算 计 缘 边 图1.7 VR/AR产业价值链 ——资料来源：L.E.K —8— www.ecconsortium.net 

10 . 边缘计算视觉基础设施白皮书 未来AR/VR技术将不断向终端轻量化发展。目前 步变轻、分体机向无线发展，5-10年后，一体机和分 属于一体机与有线分体机时代，未来1-4年，数据处理 体机将进一步融合，终端将变得跟日常眼镜重量体积 将逐步由本地处理向边、云处理方向发展，一体机逐 接近，数据处理将主要存在边端和云端。 C） EC （ 盟 图1.8 AR/VR技术从独立运行到最终融合 联 从各细分技术来看，硬件设备端的显示关键技 VR 用例，高精度手势识别也将成为趋势，此外，高精 业 术（近眼显示、渲染处理等）已经有了清晰的发展路 度SLAM定位计算、多地协同交互、5G远程网络传输 径，8K、可变焦大数据处理成为未来的主流需求。 方面也都成为未来要解决的技术问题。 产 6DFO传感技术的成熟和交互式传感体验极大地丰富了 算 计 缘 边 图1.9 AR/VR技术发展情况 ——资料来源：中国信通院、L.E.K 研究与分析 —9— www.ecconsortium.net 

11 . 1.2.4 其他领域视觉发展概况 目前智能视觉的主要应用领域除去工业、安防、 体验交互（AR/VR等）外，主要还有ADAS（高级驾驶 C） 辅助系统）、AGV（自动引导车）等。 随着智能化、网联化、边缘化进程，ADAS扮演 的角色由“提示”向“协助”、“接管”方向演进， 在智能驾驶中重要性逐渐增强。ADAS步入黄金发展时 EC 期，短期内有望快速扩张。车载摄像头是ADAS系统的 主要视觉传感器，用于感知车辆周边的路况情况。摄 像头主要应用在360全景影像、前向碰撞预警、车道 图1.10 中国ADAS市场规模 ——资料来源：公开数据整理 （ 偏移报警和行人检测等 ADAS 功能中。 AGV搬运机器人最核心的技术是自动导引技术， 通过视觉对AGV行驶区域环境进行图像识别，实现智 盟 技术研发、多场景深度集成的高科技产业，中国市场 也已经成为世界最大的AGV使用市场之一。 联 能行驶，通过边缘计算实现数据不出场，广泛应用在 上述场景都需要使用来自近场传感器及视觉传感 各大电商、物流、制造业仓储环境中。根据资料显 器的数据，所有的数据都需要实时处理，通过边缘技 示，AGV在16年市场增长率达到了160%，17年也达 术，确保数据的实时、低延时处理响应，确保防止人 业 到了94%。虽然在近两年增长速度有所放缓，但中国 类受到伤害，同时支持完成有难度的工作。 AGV产业已经从最初的严重依赖进口转变为拥有核心 产 算 1.3 边缘视觉产业发展现状 计 缘 边缘视觉是应边缘计算与视觉领域结合的需求， 能化等方面的需求。未来几年将是边缘计算规模部署 把视觉处理的算力及智能分析下沉到边缘节点，发挥 的关键时期，视频领域将成为边缘计算先行落地的应 边 边缘计算的核心优势“传输低延时、大带宽、计算高 用领域。 性能”，来实现泛视觉应用边缘处理的能力。以工业 在工业视觉领域，机器视觉主要应用于工业质检 视觉、安防、体验交互（AR/VR）等为代表的视频应 领域，涉及到产品外观缺陷、尺寸、平整度、距离、 用，不断满足各行业对视频业务实时性、视频数据智 校准、焊接、质量、弯曲度等检测。工业机器人对边 — 10 — www.ecconsortium.net 

12 . 边缘计算视觉基础设施白皮书 缘视觉系统的需求包括端侧图像数据本地化处理、并 缘视频服务技术平台，通过“1+3+N” 的服务体系， 实时传递给机械臂，引导机械臂运动路径及抓取动作 可为用户提供视频AI、视频评测、XR三大类能力， C） 等。智能工厂对边缘端工业视觉的需求包括在端侧系 并支持云-边-端灵活部署和升级，满足各种场景下的 统实现对被测物的各种缺陷的检测与分析，将端侧采 边缘智能化服务需求。华为公司推出智能边缘平台 集的数据传给边缘端系统，进行算法分析，再将分析 （Intelligent Edge Fabric）满足客户对边缘计算资源 结果回传给端侧专机，快速实现设备生产端的应用 的远程管控、数据处理、分析决策、智能化的诉求， EC 等。 为用户提供完整的边缘和云协同的一体化服务。 在安防领域，应用场景主要有智慧交通、智慧连 云服务提供商将云能力延伸到边缘。腾讯云物联 锁、智慧园区等。智慧交通中重要的边缘视觉设备是 网边缘计算平台（IoT Edge Computing Platform， （ 交通边缘智能体，通过边缘视觉边缘设备形成全息路 IECP）能够快速地将存储、大数据、人工智能、安 口方案精准实现多种业务指标的分析。智慧连锁集合 全等云端计算能力扩展至边缘节点，在边缘的计算设 智慧运营，安保及营销诉求于一体，包括运用边缘侧 智能分析功能实现智慧营销，智能化可视化安保管理 和智能远程AI巡检等。智慧园区可实现园区出入口人 盟 备上创建可连接 IoT 设备，转发、存储、分析设备数 据的本地边缘计算节点，可以方便地在本地使用云函 数、AI 模型、流式分析等能力对设备数据进行处理与 联 车管理精细化管理、实现周界防范智能化、园区室外 响应，节约运维、开发、网络带宽等成本消耗。 公共区域全局高清及智能化安保等功能。 互联网公司从消息传输、协议转换向计算延伸。 业 在体验交互领域，主要有工业制造强交互应用、 百度智能边缘（BIE），将云计算能力拓展至用户现 娱乐弱交互应用等场景。在工业制造强交互领域中， 场，可以提供临时离线、低延时的计算服务，包括消 AR头戴式设备通过对现实世界工件上精确且持续地叠 息规则、函数计算、AI 推断。智能边缘配合百度智能 产 加大型复杂3D模型/数字孪生模型，可实现关键的企业 云，形成“云管理，端计算”的端云一体解决方案。 用例用于设计、培训、装配和制造。娱乐弱交互领域 AI厂商将 “AI算法”赋能边缘计算。如旷视公司 算 中需要使用轻量级摄像头和VR头戴式显示器 (HMD)， 推出智能分析盒，“AI算法”赋能边缘服务器，基于 降低终端成本和功耗，提高摄像机和终端的便携性和 “人脸识别算法”嵌入AI综合算法，支持边缘侧前端 计 移动性，实现随时随地的VR体验。 独立完成“人像获取、识别和比对预警”，可供二次 视频边缘计算产业与服务集中在2020年前后陆 定制开发应用，用于“楼宇园区、校园社区、超市商 续上线，CT、云服务、互联网、AI领域厂商是主要玩 超和零售生产”等领域，提供前置算力。 缘 家，硬件厂商也在尝试进入边缘计算，依托硬件设备 提供服务。 边 电信运营商和设备商按照网络演进路线研发边缘 计算产品。中国移动推出星辰视界视频边缘智能总体 解决方案。星辰视界是面向家庭、行业客户提供的边 — 11 — www.ecconsortium.net 

13 . C） EC 02 （ 边缘视觉典型应用场景及需求 盟 联 业 产 算 2.1 概 述 计 表2.1 边缘视觉应用领域及典型场景 边缘端的视觉处理，多来自于边缘端图 缘 领域 典型场景 像采集后的实时性决策，以及端侧大数据的 工业视觉 自动化产线、工业机器人、智能工厂 本地化处理等需求。目前边缘视觉的主要应 智慧雪亮、智慧交通、智慧连锁、智慧园 边 用领域包括工业、视频监控、体验交互以及 安防监控 区、智慧环保 其他如ADAS和AGV等。 体验交互 工业强交互、娱乐弱交互 本白皮书里着重研究边缘视觉在工业、 智能汽车、车联网、自动驾驶、无人驾驶、 ADAS机器视觉 安防监控、体验交互领域边缘侧处理的应 车载系统 AGV机器视觉 无人车、自动引导车、引导机器人 用、需求分析。 — 12 — www.ecconsortium.net 

14 . 边缘计算视觉基础设施白皮书 2.2 工业领域机器视觉应用场景及需求 C） 2.2.1 工业领域边缘视觉发展概述 义的实现，这种逻辑简单的局限性，无法适用于随机 随着人工智能、计算机视觉等技术的快速成熟， 性强、特征复杂的工作任务，如随机出现的复杂外观 以及德国工业4.0、中国制造2025等政策的驱动，使得 缺陷检测等。 EC 工业机器人市场快速增长，也大大促进了机器视觉产 （3）边缘端智能逐渐增强。端侧视觉检测系统 业发展。有公开数据显示，在2018年，全球用于自动 与运动控制平台的结合，实时自动对端侧的异常情况 化领域的机器视觉技术市场规模达44.4亿美元，预计 进行处理，极大的提高了生产效率。同时随着检测精 （ 2023年将达122.9亿美元，年复合增长率高达21%， 度的提高，端侧视觉系统采集的数据量越来越大， 市场需求巨大。 边缘端的数据处理减轻了数据回传的通信链路带宽压 我国工业经济持续发展，工业升级改造需求强 烈。据工信部统计数据，2020年我国工业增加值达到 盟 力。 2.2.2 工业领域典型应用场景 联 31.31万亿元，连续11年成为世界第一制造业大国，庞 2.2.2.1 自动化产线质检 大的工业体量带来了巨大的工业升级改造需求。下游 目前人工质检面临质量、成本、特殊场景应对等 生产制造产品结构更加精密、质量要求提高，提高检 问题，具体如下： 业 测要求，引入机器视觉检测成为必然趋势。 （1）质量：人类视觉对于灰度的分辨能力较 随着工业视觉应用的领域越来越广泛，被检测对 差，一般只能分辨64个灰度级，在空间分辨能力上也 产 象、检测场景越来越复杂，应用于工业视觉的技术也 效果不好，不能看到微小目标，且会存在心里波动及 随着发生了重大变化： 视觉疲劳，因此常会存在漏检问题； 算 （1）从2D视觉逐渐向3D视觉转变。3D视觉对照 （2）成本：产品复杂度逐渐增加，产线工人数 明（环境光）变化不敏感，而且精度和可靠性高，可 量增多，且人员流动较高，由此带来的培训和用工成 以更好的进行多传感器融合，检测快速移动目标并获 本高； 计 得形状、对比度、空间坐标信息等深度信息。 （3）效率：人工质检的检测时间是s级，而机器 （2）工业视觉应用从传统工业视觉向基于深度 视觉的快门时间很短，可以达到10us级别，比如在工 缘 学习的AI工业视觉过渡。传统视觉算法所依赖的是预 业表面检测场景中，需要达到几十us的快速响应，人 先明确的固定特征，由视觉工程师基于视觉任务的特 工s级难以满足需求；也有些特殊场景，需求的检出缺 边 定需求，进行目标特征的定义以及数值判断的阈值定 陷是亚mm级别，肉眼无法检出。 — 13 — www.ecconsortium.net 

15 . 表2.2 使用工业视觉系统和人工检测效率及成本对比 检测方式 企业成本 检测效率 效率低下，且可能出现人为失误， C） 人员检测 每条产线6人，三班需要18人，平均年薪5万元，每年需要90万元 稳定性较差 每台设备平均价格20万元，每年维护加折旧6万元，每条生产线3 AOI设备检测 效率高，稳定性强，精确度更高 台设备，初始投资60万元，每年折旧与维护成本18万元 EC 工业视觉应用于工业质检领域，主要涉及到产 （ 品外观缺陷、尺寸、平整度、距离、校准、焊接、质 量、弯曲度等检测。典型自动化产线上工业视觉质检 由视觉检测系统（含成像系统、光源系统、图像采集 处理系统）、运动控制单元、显示单元组成。 盟 联 图 2.1 自动化产线工业视觉应用典型组网 业 自动化产线对边缘工业视觉的要求为：（1）端 侧图像数据本地化处理及存储，比如外观缺陷检测的 产 缺陷检测结果提取、尺寸量测的结果提取等；（2）检 测结果实时指导运动控制单元的动作状态。 算 2.2.2.2 工业机器人视觉引导与检测 工业视觉在工业的应用往往会和机器人联合形成 计 解决方案，主要应用方向有机器人视觉引导与检测两 种。视觉引导是指通过成像系统对工件进行定位和识 别，引导机器人进行抓取，用于无序分拣与堆码，上 缘 下料，焊接等。 典型机器人工业视觉引导组装系统由三部分构 边 成：工业相机、工控机（图像处理软件）、机械手。 图 2.2 工业机器人上工业视觉应用典型组网 工业相机获取待分拣工件/堆垛的图像信息，传送到工 控机上的图像处理软件，进行动态定位和识别，获取 要抓取物品空间位置信息，规划机械手运动路径、拾 取及放置的位置。 — 14 — www.ecconsortium.net 

16 . 边缘计算视觉基础设施白皮书 工业机器人对边缘视觉系统的需求为：（1）端 成为信息“孤岛”。 侧图像数据本地化处理；（2）实时传递给机械臂，引 智能工厂利用各种技术加强信息管理服务，提高 导机械臂运动路径及抓取动作。 生产过程可控性、减少生产线人工干预，以及合理计 C） 2.2.2.3 智能工厂 划排程。同时，集初步智能手段和智能系统等新兴技 传统工厂自动化加工设备覆盖率低，装配环节基 术于一体，构建高效、节能、绿色、环保、舒适的人 本依靠手工，质检过程缺乏先进手段，信息化建设存 性化工厂。 在断层、车间管理成为黑匣子，生产系统各相关环节 EC （ 盟 联 业 图2.3 智能工厂典型应用场景 产 智能工厂组成分云-边-端： （1）云：实现质量大数据分析、处理 算 计 缘 边 图2.4 云端质量大数据分析图 — 15 — www.ecconsortium.net 

17 . （2）边：实现自动化数据智能收集，产线数据管理 C） EC （ 盟 联 业 图2.5 边侧智能数据处理图 产 （3）端：数据的产生 算 计 缘 边 图2.6 生产终端 智能工厂对边缘端视觉的需求是：端侧视觉系 分析结果回传给端侧专机，快速实现设备生产端的应 统实现对被测物的各种缺陷的检测与分析，将端侧采 用。同时边缘端视觉系统要能与云服务器通信，通过 集的数据传给边缘端视觉系统，进行算法分析，再将 云平台的大数据管理实现智能工厂。 — 16 — www.ecconsortium.net 

18 . 边缘计算视觉基础设施白皮书 2.2.3 工业领域的未来挑战 （2）技术侧 随着机器视觉在工业领域应用越来越广泛，技 挑战一：定制化严重，通用性不足 术、市场层面所面临的挑战也逐渐暴露出来。 工业视觉检测系统一般只适用于同一家厂商或同 C） （1）市场侧 一类行业，导致定制化开发成本较高，且落地应用周 挑战一：端侧算力成本越来越高 期较长。 随着传统视觉向基于深度学习的AI工业视觉转 挑战二：工业视觉系统不可自学习、动态优化 变，高性能CPU/GPU的广泛应用，以及工业视觉检测 传统工业视觉算法是基于固定场景、确定被测 EC 精度要求越来越高，端侧算力成本急剧上升。 物、确定指标要求的程序化算法系统，不具备自学习 挑战二：工厂内多数仍是数据孤岛，数据不能共享 功能，无法用于复杂、多样化的应用。而基于AI的工 图像的采集和处理均在本地完成，生产中有效数 业视觉，当前也多是工业现场部署前期训练后的检测 （ 据不能及时在各个系统间共享、调度，无法实现全智 模型，也不具备自学习能力。 能化生产，进而影响整个生产进度。 这就需要云、边、端协同的智能视觉系统，端侧 挑战三：本地化维护成本较高 当前多是固定工位单机部署方式，使得每次对设 盟 采集现场作业数据，边缘侧完成实时性的决策要求， 云端对汇聚上来的缺陷数据进行AI训练，训练好的模 备进行调试、软件更新维护、监控分析都需要在本地 型再不断闭环升级边缘端AI检测模型。 联 完成，维护成本较高。 业 2.３ 产 安防监控领域视觉典型应用场景及需求 算 2.3.1 安防监控领域边缘视觉发展概述 城市中的异常行为检查、人流量检测需要实时预警， 计 随着AI，大数据，云计算及边缘计算等技术的发 长时间延迟是无法接受的； 展，传统的视频监控逐渐走向智能安防，从传统的防 （3）安全隐私的要求提升，尤其是企业保密信 缘 控辅助系统走向效率提升的生产系统，智能安防又逐 息及个人隐私数据，需要从前端到云中心的整个过程 步走向千行百业，传统的集中在中心云端处理数据的 加强安全管理； 边 问题逐步暴露，主要问题如下： （4）更快的本地治理诉求，通过与云中心的协 （1）高昂的数据传输成本。随着数据量的增加 同，实现本地自治，自我恢复能力，跟云中心断开时 和超高清视频的应用，传输带宽逐步增大，尤其对于 依然可以独立正常运作。 无线传输场景； 为了提升决策准确率及时效性，实现更安全可 （2）终端应用场景对延迟非常敏感。比如智慧 靠的端边云协同方案，行业需要将视频分析及判断能 — 17 — www.ecconsortium.net 

19 .力布置在前端及边缘设备上，实现即时决策，减少后 端处理压力。在前端，摄像机通过AI芯片具备足够算 力，为前端智能算法和应用提供高效的运行环境。同 C） 时在边缘和中心，大算力芯片为海量视频、图片、数 据的深度解析和大数据碰撞、检索提供算力保障，从 而形成端边云全网智能化的算力基础。比如在人脸识 别的应用中，通过前端抓拍、边缘及中心分析的智能 EC 结合的方式，对人脸识别的智能算法进行预定位，并 在前端摄像头内置高性能智能芯片，人脸识别抓取的 压力通过边缘计算分配到前端，从而释放中心的计算 （ 资源，集中优势计算资源进行更高效的分析。 图2.7 智能安防的端边云协同调度架构图 盟 联 其中云边缘设备包括：智能网关及边缘智能视频 用，被认为是守护人民安宁的“千里眼”。 2021年， 服务器，各自具备以下功能： 雪亮工程建设的十三五规划目标“全域覆盖、全网共 1、智能网关：具备支持视频接入，视频编解 享、全时可用、全程可控”已经基本实现，而十四五 业 码，视频转出功能，能够对采集到的视频图像数据进 智能化指南写入到2025年前端智能化比率要达到 行智能分析，包含目标检测、跟踪、特征识别、行为 80%，实现更快，更准、更全、更易用的智能视频综 产 分析等，输出视频中的目标、目标类型、目标特征、 合应用。针对智慧雪亮场景需要支持各个前端设备及 目标状态行为和事件等结构化信息。 平台的联网、视频调阅，并需要支持对海量视频的分 算 2、边缘智能视频服务器：作为边缘计算和边缘 析以便快速检索图像，实现目标提取，故对相关边缘 数据中心的主要计算载体，应具有对采集到的视频图 视觉需求如下： 像数据进行智能分析的功能，包含目标检测、跟踪、 （1）支持视频资源联网、共享及管理。大联网 计 特征识别、行为分析等，输出视频中的目标、目标类 要求，边缘视觉平台如智能网关及智能视频平台需支 型、目标特征、目标状态行为和事件等结构化信息， 持多种形态的前端设备联网接入及管理，并针对监控 缘 并支持边云协同功能。 资源及设备进行统一的编码管理，使得用户在权限管 3、前端设备主要有智能摄像机，智能摄像机内 控范围进行视频资源的调度，同时边缘视觉平台需支 边 置AI芯片，能够对采集到的视频图像数据进行智能分 持与其他相关平台（同级别及高级别的、同构异构 析，例如目标检测、跟踪抓拍、特征识别等。 的）进行联网连接，实现平台资源互通共享 2.3.2 安防监控领域典型应用场景 （2）支持视频调阅、存储及转发。支持在统一 2.3.2.1 智慧雪亮 平台上实现视频监控图像的灵活调度，提供丰富的终 “雪亮工程”，即公共安全视频监控建设联网应 端管理与应用方式，可以在视联网终端、手机、电脑 — 18 — www.ecconsortium.net 

20 . 边缘计算视觉基础设施白皮书 等设备上实现视频调度和应用。 由于交通监控场景催生大量图像及视频数据， （3）具备智能分析功能。能够自动从海量视频 同时为达到调度管理又需准确及时的实现车牌、人、 中发现重要线索，快速锁定目标，实现视频调阅、目 机动车及非机动车的智能识别。随着电子警察、卡口 C） 标提取、检索对比、身份确认及全域追踪等，聚焦人 交通执法、稽查设备等在智慧交通系统的普及，前端 脸、车、人体等核心感知数据的融合分析，实现业务 视频数据量极大，尤其在车路协同的应用场景中，无 流程自闭环，提升警务效率。 法做到数据直接上云或者中心节点，而需要大量实时 （4）支持端边云协同，多点布控与多机联动， 数据处理，故需要在边缘侧部署相关智能分析设备来 EC 包括资源，任务，算法及数据的协同，从而实现全 实现实时分析反馈、决策、达到既满足交通执法者需 域追踪及全网协同（包括多警钟协同，地市区县协 求，又满足疏导交通拥堵，保持道路畅通安全的大众 同）。 出行诉求。 （ 2.3.2.2 智慧交通 当前主流边缘智能的方案中全息路口解决方案最 随着全球经济的高速发展和城镇化进程不断加 为突出，采用边缘视觉技术有效实现动态交通管理， 快，机动车保有量逐年增长，道路交通运输量也不断 增加，道路供给和通行需求矛盾加剧，导致各种交通 盟 通过在靠近路口的视频数据端，布置交通边缘智能 体，对路口视频进行实时分析，解析多种交通结构化 问题日益突出，已经成为全国各大城市管理的首要问 数据包括车牌、车辆属性、车速等信息，生成40+交 联 题，智慧交通建设已经是一个迫在眉睫的系统工程。 通业务指标，实时决策，精准管控。 业 产 算 计 图2.8 智慧交通全息路口解决方案示例 缘 智慧交通中重要的边缘视觉设备是交通边缘智能 摄像机，实现无盲区覆盖整个交通路口，实现对人， 边 体，通过边缘视觉设备形成全息路口方案，精准实现 车的图像抓拍分析。 多种业务指标的分析，边缘视频分析平台在智能交通 （2）满足各个部门的联网要求，支持平台间互 中的主要功能及需求如下： 联接入，支持视频存储调阅及转发。 （1）实现路口机动车、非机动车、人等全量数 （3）支持边云协同，多级联动控制，精细化治 据采集分析及存储。采集搭载“机非人”算法的智能 理。支持将元数据（车牌、车辆属性、车速、位置、 — 19 — www.ecconsortium.net 

21 .是否违法等）汇聚到微边缘设备进行业务指标汇聚分 困难，包括门店分散，加盟点多，人员管理困难，客 析，并最终经过多个边缘设备分析后汇聚到智慧交通 流、客群数据统计困难，难以判断市场动向，丧失销 治理中心平台，实现多边缘节点联动控制，精细化治 售机会，货品摆放合理性难以验证等问题。 C） 理，采用边缘设备与云端协同的机制，破解烟囱系统 通过在门店内外布置智能摄像头，以及与相应边 孤岛数据，使得交通数据分析更实时，更精确。 缘智能视频服务器相结合，并配合后端监控云服务的 2.3.2.3 智慧连锁 强大计算能力，实现端边云协同治理情况下的高效安 门店管理是智能商超的重要场景，当前面临多种 保，精准营销，高质量运维。 EC （ 盟 联 业 图2.9 基于端边云协同的智慧连锁解决方案示例 产 智慧连锁场景中，集合智慧运营、安保及营销诉 示，同告警信息呈现，及时实现安保报警，精细化管 求于一体，对边缘视觉设备主要功能需求如下： 理运营。 （1）运用边缘侧智能分析功能实现智慧营销， （3）智能远程AI巡检：基于云服务+边缘节点， 算 包括客流分析、客户需求及热度图分析。通过门店出 通过选择门店，选择视频画面抓图标注、保留依据、 入口及内部布置智能摄像机，实现客流分析、客群统 即可反馈问题，实现业务闭环，提升门店管理效率。 计 计、区域热度分析，并将分析数据汇总在边缘视频服 2.3.2.4 智慧园区 务器进行分析，并按照产品类别做排行，可及时调整 当前智慧园区管理监控依然处在安保弱、管理效 产品营销策略和供应，提升体验。 率低、运营成本高、办公效率低的情况，大量前端摄 缘 （2）智能化可视化安保管理。边缘分析平台应 像头缺失智能化能力，录像系统仅仅用于事后取证， 支持园区安保相关算法分析功能，支持多算法集成、 人与车的同行效率低下，多部门系统间不连通，安防 边 云端新算法的下发更新及部署，实现无感知考评签 系统重复建设等问题大量存在，需要进行统一平台管 到，员工工作服装穿戴检测如厨师帽，厨师服等，进 理，部署边缘节点，支持端边智能，加强边缘治理及 行员工脱岗检测等，并支持在app端智能化可视化显 运维，从而构建安全高效的园区安保系统。 — 20 — www.ecconsortium.net 

22 . 边缘计算视觉基础设施白皮书 C） EC （ 图2.10 园区典型业务场景及涉及算法分类 在该场景下边缘视觉设备主要解决以下问题： （1）园区出入口人车精细化管理：通过在出入 盟 智能摄像头及智能视频服务器，实现刷脸同行、重点 区域人员同行管理精细化，多种行为分析（如脱岗检 联 口布置车牌识别一体机，人脸识别闸机，目标抓拍摄 测（关键岗位）、区域入侵（关键区域）、物品遗留/ 像机，边缘视频服务器等视觉设备实现刷脸通行、车 移除（消防器材）、安全帽识别、工作服识别、打手 牌识别，高效通行；人车出入记录可查，实现出入园 机检测、吸烟识别、园区高空抛物等）实现人员行为 业 区人车管理精细化。 智能化识别管理，保障园区安全。 （2）实现周界防范智能化：在园区周界安装加 （5）疫情防控无感精准测温，口罩配戴告警： 产 载周界入侵报警算法能力的摄像头、边缘分析服务 通过在园区出入口布置热成像测温摄像机及相关配套 器，实现人员入侵探测、报警，从而实现周界防范。 测温装置，实现查看同行人员体温、戴口罩识别，温 （3）园区室外公共区域全局高清及智能化安保: 度超过预设值报警，未戴口罩告警等疫情防控智能化 算 通过在园区道路、便道及消防通道、人行道等公共区 管理。 域布置具备场景自适应功能的智能摄像机及智能边缘 （6）边云协同实现大型园区综合子系统间协同 计 视频服务器等边缘机器视觉设备，实现园区人员可记 共享，支持新应用（如高空抛物）在系统的部署及升 录可查，园区公共区域7*24小时全彩高清，掌控园 级，持续实现智能化园区运维及管理。 缘 区整体态势，车辆记录可查，治理园区车辆超速、逆 行、违停等行为，保障园区高效安全运行。公共区域 烟火识别，区域入侵，物品移除，人员跌倒等智能应 边 用保障园区设备资产及人员安全。 （4）室内公共区域的人员精细化管理，智能安 保及人员行为管理：在重要机房、厂房、食堂等布置 — 21 — www.ecconsortium.net 

23 . C） EC （ 图2.11 园区端边云算法协同场景 由于园区场景多，AI诉求强，涉及的算法在各个场 景下均不相同，故对边缘视频分析平台的诉求如下： 盟 +联单签收+经营台账+视频监控+工况AI分析等技术， 从而实现固废的数据自动采集、全生命周期可视跟踪 联 （1）存储及AI算法边缘化：视频数据边缘化分析 和智能分析，提升固废的整体监管水平。 处理，支持存储和算法融合，多算法并行，实现如园区 由于视频传输的带宽消耗及投入、时延大、网 出入口人车管理精细化管理、实现周界防范智能化、园 络不稳定等因素，所有视频集中在省级及市级单位中 业 区室外公共区域全局高清及智能化安保等。利用边缘分 心监控平台进行分析，存储及管理存在调度困难、算 析平台汇聚视频集中分析，加快业务响应速度。 法精度不够的痛点，分析结果无法支撑环保决策，告 产 （2）支持智能可定义：在云上可批量更新和更 警实时性不强，越来越多智慧环保解决方案倾向于在 换边缘智能算法，如下发新的周界入侵算法或者烟雾 靠近前端采集端部署边缘智能视频分析管理平台，使 识别，可让端侧投资在不切换、升级硬件设备的情况 得AI分析能力下沉到园区，提高分析实时性、缩短时 算 下持续保值。 延、及时发现风险，第一时间规避险情，且实现边缘 2.3.2.5 智慧环保 算法可更新可持续，持续有效支持固废智能化持续提 计 十三届全国人大常委会第十七次会议审议通过 升。 了修订后的固体废物污染环境防治法（以下简称“新 对固废边缘智能分析平台的功能要求如下： 缘 固废法”），进一步完善了危险废物污染环境防治制 （1）在边缘端实现视频图像的接入，存储，转发 度，新固废法明确提出了管理台账、转移联单、全过 及查看功能，支持数据图像的检索，支持视图管理； 程监控和信息化追溯等制度，对危险废物管理工作提 （2）支持智能分析，包括车辆识别、人脸识 边 出了新的要求。在固废监控领域需要基于物联网技 别、固废物计数、叉车入库行为检测，叉车出库行为 术，以视频和AI等增值服务，如固废出入库监管可通 检测、固废转移行为识别等； 过电子秤称重+自动台账+发起联单+视频监控+出入库 （3）支持边云协同，支持第三方算法加载对 AI进行分析，固废转移过程由GPS数据联网+地磅称重 接，支持算法可持续更替。 — 22 — www.ecconsortium.net 

24 . 边缘计算视觉基础设施白皮书 C） EC （ 盟 图2.12 固废管理边缘智能体解决方案 联 2.3.3 安防监控领域的未来挑战 挑战一：数据安全防护升级 业 国家层面相继出台相关个人信息保护的国标及立 法，从《个人信息安全法》到《个人信息保护法》均 明确了企业对于个人信息保护的责任，并有义务评估 产 对个人信息安全的影响。从前端采集设备到远程的云 环境，需具备采集、传输、存储、使用4个方面围绕数 算 据安全的设防，让攻击者进不去、看不到、拿不到、 图2.13 监控领域采传存用过程安全要求 赖不掉。通过安全态势感知，数据存储芯片级加、解 密，数据访问自动加数字水印，隐私遮挡、最小化权 计 限数据使用等安全防护策略，使视频云平台的安全风 （2）系统应无默认密码、支持弱密码检测及防 险可以主动感知与可视化、变静态防护为动态防御和 暴力破解机制，防止密码容易被猜测； 缘 主动检测、单点防护为综合防控。 （3）支持入侵检测，AI模型加密及容器隔离，防 作为边缘视觉的重要设备，边缘视频网关及边 止恶意AI应用影响扩散； 边 缘视频分析服务器在安全防护上未来应逐步满足以下 （4）支持一机一证，避免摄像机被仿冒，保障 要求： 摄像机安全接入； （1）具备统一口令管理，RBAC（Role-Based （5）满足数据传输及存储加密，防止数据泄 Access Control）或ABAC（Attribute-Based Access 露、篡改； Control）权限管理； （6）具备人脸隐私遮挡及视频数字签名功能， — 23 — www.ecconsortium.net 

25 .保障数据隐私及完整性； 更替的软件定义摄像机逐步出现。在具备强大算力的 （7）具备安全启动或软件完整性校验机制，防 同时，支持算法在线部署加载更新，能够随应用场景 止系统或软件被恶意篡改。 的变化及需求的增加而更替算法部署，满足客户AI需 C） 挑战二：需求变化快，变化多，需支持算法协同 求的同时节约用户硬件更替投资，作为智能终端的同 使能终端软件智能可持续 时又可作为其他非智能摄像机的智能边缘节点，实现 算力是智能基础，专业AI芯片提供强大算力保 客户的最大化利旧及智能化改造。 障，使得算法层出不穷，推动视频图像分析识别向更 挑战三：打破系统封闭，实现解耦开放，构建端 EC 深层次发展，单场景多对象分析情况逐渐增多，如在 边云协同生态 城市道路交叉口，实现对机动车、非机动车、人的识 安防监控领域长尾需求层出不穷，AI落地需要走 别分析，同时需支持车辆违法行为识别，车辆轨迹及 向规模商用实现普惠，需跨越工程化能力不足的障 （ 方向等，需求变化多；而监控场景也逐步变多，如排 碍，才能真正让AI服务于千行百业，从而对安防监控 污口动态监测、海面漂浮物检测、机场传送带工作状 产业开放性提出更高要求。从前端到平台，打通算法 态监测、森林烟火监测、工地着装检测、高速团雾检 测、高空抛物检测等市场需求层出不穷。这种变化催 盟 厂商算法对接测试问题，实现对算法生命周期管理服 务，降低部署应用门槛，促使视频、图像、数据的AI 生出大量智能算法厂商，而传统模式摄像机硬件设备 算法和应用转化商用，需要边缘视觉平台具备更多开 联 在软硬件耦合情况下，导致算法厂商的开发工作跟摄 放能力，北向支持第三方算法下发更新，南向支持多 像机硬件严重耦合，方案周期长，成本高，无法满足 种设备接入，支持多协议及设备管理等。 业 智能、变化快、场景多的客户需求，应用算法可持续 产 算 计 缘 边 图2.14 智能视频云服务功能示例 — 24 — www.ecconsortium.net 

26 . 边缘计算视觉基础设施白皮书 2.4 体验交互领域视觉典型应用场景及需求 C） 2.4.1 体验交互领域边缘视觉发展概述 体验交互领域的提升主要涉及AR/VR技术， 是下一代显示终端技术，具有广泛的应用前景， EC 当前的主流AR/VR是将 HMD 连接到计算机或移 动处理器本地执行渲染，但设备非常笨重，通过 轻量级 VR/AR 眼镜与远程执行渲染的边缘/云计 （ 算设备无线连接，可以实现真正便携的移动 VR/ 图2.15 XR服务功能示例 AR 体验。 盟 联 在向云端发展的过程中，如何提升AR/VR沉 浸感，模糊虚拟和现实之间的边界是要不断解决 业 的问题，其中视觉质量、自然交互质量提升都是 边缘视觉要解决的重点问题。虽然对用户控制命 产 令的可接受响应时间为 100-200 毫秒，但用户 的头部旋转和身体运动需要 10-20 毫秒的低得多 的延迟，这对吞吐量和延迟都提出了极高要求。 图2.16 沉浸式体验图 算 计 缘 一般来说，通过基于云/边缘来实现无线 VR/AR 的边缘视觉处理有三种可能方法 (a) 在云 服务器上渲染与信息处理； (b) 在远程边缘服务 边 器上渲染与信息处理； (c) 在本地边缘设备上渲 染与信息处理。 图2.17 无线 VR/AR 的边缘视觉处理图 — 25 — www.ecconsortium.net 

27 . 在本地渲染时，系统延迟要求较低，可以处理简 2.4.2.1 工业强交互应用 单游戏视频内容，在边缘云服务器处理时，可以进行 在AR头戴式设备 (HMD)上，通过对现实世界工件 相对比较沉浸式的AR/VR内容交互模拟，当要实现光 上精确且持续地叠加大型复杂3D模型/数字孪生模型， C） 场级深度沉浸的处理时，云VR就成为主要构架。 可实现关键的企业用例用于设计、培训、装配和制造。 比如汽车内饰的设计过程，流行的工作流程是在 表2.3 Cloud AR/Vr演进与连接需求表 PC 上使用CAD软件进行初始设计，使用手工切割泡沫和 3D 打印塑料模型的组合构建该模型的真人比例模型。然 EC 后将其组装在一辆空心汽车内并评估设计。根据团队和 管理层的审查，对设计进行更改，并重复整个过程。这 需要大量的时间和资源，并且需要多次迭代。 如果使用 （ MR 的设计过程，可以在其中以高保真度（数百万个多 边形和高质量纹理）渲染真实大小的3D CAD模型，并将 2.4.2 体验交互领域典型应用场景 盟 其精确放置（具有几毫米的公差）在所需的位置与上述 同一辆车内。MR 世界可以由多个用户同时跨多个HMD 共享，审查和反馈作为 CAD 文件中的设计更改合并，这 联 AR 的应用极广，最初的用例集中在消费者体验 将节省大量时间和资源，并显着缩短迭代。 上，例如游戏，随着技术的快速发展，零售、装配、 为了做到这一点，需要解决两个挑战： 以10 物流和培训等工业AR应用程序得到了广泛应用，预计 业 到100亿个多边形渲染大型复杂模型和场景，约 AR 将成为未来数字信息系统的视觉界面。 60FPS，延迟小于20毫秒， 在正确的物理位置（相对 VR商业应用也非常多样化，包括看影视、游戏、 产 于真实和虚拟世界）以正确的比例进行渲染，并以低 教育、电商、旅游、医疗等，这些应用可以分为面向 于10毫米的精度呈现准确的姿势。 政企和个人文娱消费的应用。 算 计 缘 边 图2.18 3D模型在生产平台的应用示例 — 26 — www.ecconsortium.net 

28 . 边缘计算视觉基础设施白皮书 2.4.2.2 娱乐弱交互应用 成本和功耗 ；提高摄像机和终端的便携性和移动性， 对于VR直播、VR电影等交互性较低的VR场景， 实现随时随地的VR体验。这只能通过终端、网络和云 需要考虑以下几个方面来保证高质量的体验： 推广使 之间的密切合作来实现。以VR直播为例，其当前方法 C） 用轻量级摄像头和VR头戴式显示器 (HMD)，降低终端 如图所示。 EC （ 盟 联 业 产 算 计 图2.19 VR直播系统图 缘 VR直播解决方案为了让摄像头和头显轻量化、低 （2）摄像机引入移动网络进行视频无线上传， 成本化，需要简化原有摄像头和VR终端的处理，将部 满足部分移动移动需求（如无人机拍摄）和有线传输 边 分复杂的处理从端侧卸载到云端。可以采取的具体选 难以覆盖（如室外）的需求。 项如下： （3）引入FOV方案，VR 360°视频根据视角进行 （1）将CPU和GPU的拼接投影、编码等功能迁 分割。用户无需从全视图下载和解码 360°视频。可以 移到云端，让相机只保留拍摄和视频上传的功能。 根据当前视角实时获取对应的视频片段并进行相应解 — 27 — www.ecconsortium.net 

29 .码，以降低传输带宽和解码能力。 有这些功能但性能水平较低的笔记本电脑级设备。 2.4.3 体验交互领域的未来挑战 挑战二：分辨率和视觉质量仍然较低 虽然AR/VR具有广泛应用前景，但目前市场普及 VR 头显的显示分辨率正在缓慢提高，但仍然缺乏 C） 率还是比较低，主要是要达到用户所希望的体验感， 高清视频的细节，未来如何实现8K以上处理传输是要 AR/VR边缘视觉计算还面临很多挑战，边缘视觉与云 解决的问题。即使硬件改进以支持更好的分辨率，以 处理结合是未来的发展方向。 更高分辨率呈现交互式内容也需要更多的本地计算能 挑战一：显示和计算设备成本高 力，这导致最终用户的计算平台更加昂贵。 VR 体验中 EC 基于本地计算处理的 AR/VR显示器的处理主机购 的低视觉质量减少了真实感的缺乏，导致整体使用量 买成本仍然很高，还只是播放交互式 VR 内容所需的附 减少，持续时间缩短。 加设备，如何将立体显示计算放到云端是需要解决的 挑战三：移动性仍然是一个问题并影响可用性 （ 问题。这将可寻址的受众限制在那些通常不用于日常 VR连接到本地计算，这会通过限制移动自由来 个人计算的强大计算平台上，虽然许多发烧友拥有具 影响可用性，边缘视觉处理是未来解决这一难题的关 有强大处理和图形功能的计算机，但大多数人使用具 盟 键。 联 业 产 算 计 缘 边 — 28 — www.ecconsortium.net