AIoT构建边缘AI能力最佳实践-邓煜平

1 .AIoT 构建边缘 AI 能力最佳实践 邓煜平 腾讯云高级产品经理

2 .01 什么是 AIoT 产品及产品特性 02 AIoT 产品的技术架构 03 如何通过 AIoT 产品快速搭建边缘 AI 能力 0 4 应用场景解决方案示例 目录

3 .什么是 AIoT ：传统 AI 应用架构的局限性 流量高达 GB/ 天 远程调用时延高达数百毫秒级 广域窄带 近场通讯 广域宽带 非授权 授权 LPWA 消息接入 网关管理 节点管理 数据路由 入网管理 IoT Hub 消息管理 设备管理 设备影子 规则引擎 消息队列 AI 推理平台 算法推理容器 聚类分析 统一接口管理 时序数据库 对象存储 IoT Video 运营商 A 接入网、核心网 运营商 B 接入网、核心网 设备管理 宽带转发 P2P 穿透 云台控制 网络接入层 云端组件 物理链接层 边缘设备层

4 .什么是 AIoT ：更多场景需要快速、低成本的 AI 计算能力 智慧零售 应用于广泛分布式部署的无人货柜、商铺智能导购等场景，需要迅速识别商品人员 智慧工厂 对分布各地的企业工厂在生产过程中的半成品、成品进行自动化的质量检测 智慧农牧 养猪场分散各地，地点偏远，网络环境较差，需要实现自动盘点与精确料肉比控制 安防监控 边缘侧迅速识别口罩帽子等特定人员，及跌倒等动作检测，降低客户带宽云存成本

5 .什么是 AIoT ： AIoT 产品主要解决的问题

6 .什么是 AIoT ：技术融合让边缘 AI 能力逐步成熟 容器编排技术 跨开发环境与运行环境的融合，让 AI 计算、应用展示、部署运维融为一体 AI 加速芯片与硬件生态的丰富 AI 加速芯片的出现使得边缘智能设备的算力大幅提高并可灵活伸缩 AI 计算框架与算法生态的成熟 不同 AI 计算框架让 AI 应用开发者的上手门槛大幅降低，促进算法生态的蓬勃发展 成熟的物联网数据采集技术为 AI 模型训练输入提供了良好基础 物联网技术经过多年发展已逐步成熟

7 .设备自动接入 设备自动发现，支持分组管理，进一步可以远程连接设备、图形化配置及监控数据展示 离线 AI 计算 视频图片等非结构化数据直接在边缘设备进行智能处理，让数据响应更迅速、带宽要求更低 快速二次开发 客户可自主开发 AI 模型算法，或者基于算法 API 二次开发边缘应用，并上传云端进行分发部署 丰富算法市场 丰富的算法市场集合了腾讯自有 AI 算法、第三方 AI 算法，满足不同客户对不同边缘场景下的需求 什么是 AIoT ： AIoT 产品的主要特性 一键自动部署 可将选定的 AI 模型分批分组、计划任务式地下载到边缘设备，支持对应用的暂停、更新、卸载 主流硬件平台 支持各类型主流 AI 硬件平台， AI 算力可伸缩以满足不同场景成本需求

8 .AIoT 产品技术架构：与其它物联网组件、 AI 组件的关系 终端设备 AIoT 智能网关 腾讯云 ( 物联网通信 + AIoT + IoT 安全 ) 基础 AI 产品 IoT OS 设备适配层 数据转换 无线适配 多通道管理 边缘 IoT 组件镜像 子设备管理 规则引擎 规则引擎 IoT Hub 边缘智能管理 数据预处理 模型训练、生成 网关接入 SDK 镜像仓库 发布管理 消息采集流 模型分发流 基础 IoT 套件 智能 IoT 套件 边缘智能软件栈 IoT 安全 设备认证 SOC 安全运营中心 容器管理 AI 组件依赖包 AI 模型 1 镜像 AI 模型 2 镜像 安全 Agent 特征提取 AIoT 设备管理

9 .AIoT 产品技术架构：总体架构 应用与模型分发平台 边缘网关 / 盒子软件栈 宿主操作系统 基于 AI 加速芯片的硬件平台 (CPU/GPU/VPU/FPGA) 设备接入服务 协议转换 采集监控 Docker 引擎 设备认证 / 安全启动 / 防盗版 云端连接服务 窄带信令 宽带推流 智能分析服务 AI 中间件 时序数据库 流数据库 行为识别 算法容器 车牌识别 算法 容器 核心服务 服务发现 消息总线 平台 Agent 智能钛机器学习平台 AI 模型仓库 应用与模型发布工具 IoT Hub 慢直播 … 模型及应用镜像仓库 公共市场仓库，自有应用仓库 设备管理 设备激活 远程监控 网络代理模块 应用管理 创建应用 远端部署 认证授权模块 镜像管理模块 消息通知模块 设备群组管理 应用群组管理 Docker 管理 连接管理 指令图形化 应用管理 同步管理 版本管理 可视化配置应用 YAML 导入 可视化编辑 应用发布

10 .AIoT 产品技术架构：云端，发布工具 模型及应用镜像仓库 公共模型市场应用仓库，自有应用模型仓库 设备管理 设备激活 设备远程控制 网络代理模块 应用管理 创建管理应用 应用远端部署 应用启停控制 设备群组管理 用户基于设备的权限控制 应用群组管理 用户基于应用的权限控制 镜像管理模块 认证授权模块 消息通知模块 Docker 管理 连接 docker 环境 Docker 指令图形化 应用管理 同步分发平台应用 应用版本管理 可视化编辑应用 yaml 导入生成应用配置 图形化编辑应用配置 应用发布 将应用发布到分发平台 应用与模型分发平台架构 应用与模型发布工具架构 Docker Daemon

11 .AIoT 产品技术架构：边缘侧协议栈（总览） 操作系统 容器引擎 安全服务 REST OPC-UA MODBUS MQTT RTSP/ RTP/RTCP 设备接入服务 消息总线 服务配置与发现 平台 Agent 基于 AI 加速芯片的硬件平台 ( CPU/GPU/VPU/FPGA) 核心服务 智能分析服务 规则引擎 流数据库 时序数据库 AI 中间件 eg.OpenVINO 服务 调度 日志监控 BACNET 模型应用服务 人脸识别 车牌识别 窄带信令 人体检测 设备认证 安全启动 安全存储 运行时保护 云端连接服务 宽带推流

12 .AIoT 产品技术架构：边缘侧协议栈（服务注册与发现） 注册中心 （ Registry ） 微服务 A （ Micro Service A ） 微服务 B （ Micro Service B ） 注册 查询 注册 调用 微服务启动 服务自动向注册中心进行注册 服务发现 向注册中心查询其它服务的地址与端口号 服务调用 直接向其它服务请求 健康检查 注册中心负责定期检查微服务健康情况 健康检查 健康检查

13 .协议转换 状态监控容器 窄带消息 / 视频流 AIoT 产品技术架构：边缘侧协议栈（数据采集） MQTT RTSP Telegraf Telegraf 时序数据库 本地数据分析引擎 云端数据分析引擎 协议转换 OPC-UA BACNET MODBUS 系统状态监控 CPU MEM STORAGE 协议容器 1 协议容器 2 Telegraf 。。。 通过 Telegraf 等组件的容器化实现不同 IoT 协议的动态可扩展

14 .AIoT 产品技术架构：边缘侧协议栈（ AI 数据处理 -- 基础） 视频解码 缩放对齐 本地聚类 IoT Video 宽带通信能力 Open Vino 中间件 API python 化 TF Servering proto files gRPC python 库 人脸检测模型 设置调用参数 视频 推流控制 聚类模型 人脸检测 结构化数据收发控制 二级聚类平台 IoT Hub 窄带通信能力 结构化数据 / 图片 / 视频的 SaaS 展示 算法容器 TF Serving 容器 二次开发应用容器 边缘 AI 设备 云端 PaaS 平台

15 .Docker 容器 AIoT 产品技术架构：边缘侧协议栈（ AI 数据处理 -- 高阶） 推理模型 Open Vino 中间件 API python 化 TF Servering proto files gRPC python 库 RESTful API TF Servering json schema 边缘 AI 软件协议栈内置 gRPC 和 RESTful API 两种调用方式，方便开发者在 1 分钟内部署 AI 推理模型 集成了可支持 Intel VPU 的 AI 加速中间件，兼容 TF 原生接口，快速提高性能

16 .AIoT 产品技术架构：边缘侧协议栈（宽窄带数据分发） TXLivePushConfig 配置组件 TXCloudVideoView 预览组件 TXLivePusher 推流组件 setConfig startCameraPreview startPusher IoT Video 宽带通信能力 IoT Hub 窄带通信能力 边缘侧集成云上宽、窄带转发能力，实现结构化数据输出以及事件触发联动的视频输出

17 .智能边缘设备 AIoT 产品技术架构：边缘侧协议栈（安全） 云端安全认证中心 生成 client random 生成 client 临时公私钥对 设备私钥 Hash 对 cli 公钥 HMAC 验证 cli HMAC 生成 server random 生成 server 临时公私钥对 设备私钥 Hash 对 srv 公钥 HMAC 验证 srv HMAC 完成 ECDH 密钥交换 sessionKey 全链路加密 完成 ECDH 密钥交换 sessionKey 全链路加密 读取设备 ID 产生随机数 根据挑战计算摘要 验证摘要 边缘 AI 应用容器 边缘 TID 安全容器 模型版权保护 边缘设备身份认证

18 .AIoT 产品技术架构：边缘侧协议栈（增量分发） Hardware Host Kernel OpenVino App 1 App 2 Binaries/ Libraries App namespace & C group Docker Engine 边缘 AI 设备计算环境采用镜像分层技术，使用同一基础镜像的容器共用同一块数据空间，即使部署多个这样的容器也只占用一份基础镜像的容量 大大节省存储空间，以及网络分发占用的带宽 基于设备预装的 Docker 容器中间件，可以将基于同样 AI 中间件的应用模型的网络分发流量由平均 2GB 下降到小于 1GB

19 .AIoT 产品技术架构：可伸缩的 AI 硬件加速平台 主板 CV 由 Mini PCIE HDDL-Lite Card 处理 型号 腾讯云 AIoT Box 平台 INTEL KABYLAKE 3865U + INTEL Movidius X 处理器 内存 支持 DDR4 双通道， 8GB 存储 128GB SSD 显示 2 路 HDMI USB 口 6 USB3.0+4 USB2.0 网络 本地 1000 M 网络 + 可扩展 WIFI+ 可扩展 4 G COM 口 1 个 GPIO 8 路 GPIO 设计理念： 高计算性能，良好的性价比， pin2pin 的设计便于算力快速伸缩 支持多达 1 6 路 1080P 的视频编码、解码 灵活的 VPU 算力架构设计，可配置支持 (2,4, 6, 8 Myriad X) 芯片以满足不同客户和场景对性价比的要求 支持容器化部署的 Linux 、 Android 双系统，保留 AI 传统运行环境的同时，兼顾本地显示应用的快速开发 成品外观

20 .无需个性化配置，输入激活码后一键激活边缘设备 ① 设备注册激活 应用模型市场选择公开算法模型 或者，创建、上传并部署自有算法模型 选择算法模型 算法模型分批分组、计划任务式地部署到边缘设备 ③ 部署算法模型 图形化配置，监控数据展示 边缘应用生命周期管理 ④ 云端展示与监控 如何快速搭建边缘 AI 能力：步骤概览 ②

21 .应用解决方案示例：人脸识别与热力图 人脸识别 热力图 腾讯云 AIoT 盒子 + 普通 IP 摄像头

22 .THANKS 关注云加社区公众号