自动驾驶环境感知技术路线的发展

1 . 区 术 cn 社 技 g. 自动驾驶环境感知的技术路线演变 能 cu 智 ai 工 . ww 赵群河 G人 w 深兰科技（上海）有限公司 上海市长宁区威宁路369号 CU AI 

2 .深兰科技 · 企业介绍 DeepBlue - Company Profile 区 术 cn 社 技 g. 能 cu 深兰科技（上海）有限公司创 智 ai 立于2014年，是快速成长的人 工智能领先企业，作为平台型 工 . 世界级 A I Maker，以“人工智能 ww 服务民生”为理念，致力于人工 智能基础研究和应用开发，人 工智能产业链智能软件输出及 自主硬件设计与制造。依托自 主知识产权的深度学习架构、 计算机视觉、生物智能识别等 G人 w 人工智能算法，深兰科技已在 智能驾驶、智能机器人、AI CU CITY 、生物智能、智能零售等 领域广泛布局。 AI 

3 .深兰科技—核心技术 DeepBlue – Core Technology 区 术 cn 社 技 g. 能 cu 智 ai 工 . ww 计算机视觉 基于卷积神经网络算法，对 视频图像进行处理分析和智 G人 w 自动驾驶 致力于以视觉为主的多传感器融合技 生物智能 由生物识别与AI基因两部分组成。 基于手脉的生物识别身份认证技 语义智能 重点研究新一代可解释性人工智 能认知推理学习框架，汲取传统 术，结合精准定位导航、强化学习的 能理解，以识别各种不同目 决策系统和最优化车辆安全的规划控 术，并通过图像处理算法进行手 符号推理和深度学习（概率学习） 标和事件。 制技术，打造高性能、低成本、集成 脉特征值提取，自主研发的内生 的优点，探索从符号空间到向量 CU 化的软硬件平台，并通过车规级前装 物特征比对引擎。 空间的更高效、更精准的新一代 一体化设计的系统车辆深度融合技术， 人工智能技术，突破传统深度学 AI 打造平台级自动驾驶车辆级解决方案。 习对大数据的依赖。 

4 . 深兰科技落地产品 区 术 cn 社 技 g. 能 cu 智 ai AI Panda Bus Panda Road Sweeper Biometric Access Gate 工 . ww G人 w CU AI AI Vending Machine Security Patrol Robot DeepBlue – Ecology Plan 

5 .BACKGROUND 区 ⚫ 自动驾驶环境感知技术路线的发展自动驾驶汽车依靠人工智能、 术 cn 视觉计算、雷达、监控装置和全球定位系统协同合作，让电脑 社 技 g. 可以在没有任何人类主动的操作下，自动安全地操作机动车辆， 能 cu 成为汽车一个全新的发展方向。未来完全自动驾驶需要“智能 智 ai 汽车＋智能化道路＋车路协同”技术全面发展和迭代， 车辆网 络化、信息化程度极高，而这也对电脑系统的安全问题形成极 工 . ww 大挑战。自动驾驶难在感知，重在“学习”，将介绍感知技术 G人 w 的发展历史和伴随的传感器的进化趋势，感知智能到未来认知 智能的升级带来的新挑战。 ⚫ 在自动驾驶初级阶段，从多家辅助驾驶或自动驾驶测试车辆发 CU 生的事故分析，大多是因为感知层出现问题。 AI AI Pioneer 4 

6 .自动驾驶系统划分 感知层模块划分 区 术 cn 社 感知层 技 g. 感知 能 cu 环境感知、定位与地图 智 ai 工 . 决策层 ww 全局路径规划及局部路径 规划 G人 w 控制层 定位 CU 地图 线形控制油门、转型和制 AI 动 

7 .感知层 区 ⚫ 目的 术 cn 社 感知 获取本体及周边空间环境的状态：空间位姿、运动状态及态 技 g. 势预测 能 cu ⚫ 感知模块：通过单个或多个传感器进行探测目标（是否有 智 ai 障碍物）、对目标分类（障碍物是什么）、语义分割 (在 工 . 整帧画面中将障碍物分类及可行驶区域探测)、目标追踪 ww (障碍物追踪)。 G人 w ⚫ 定位模块：获取车辆本体的位置及空间状态，包括绝对位 定位 地图 置和相对位置关系。 CU ⚫ 地图模块：此处指HD Map，为感知模块和定位模块提供 AI 辅助。 AI Pioneer 6 

8 .硬件及传感器 区 术 cn 01.视觉相机 04.卫星定位+差分 社 • 单目：Mobileye等 • 双天线测向 技 g. • 多目及全景相机 • RTK/PPP 能 cu 02.激光雷达 05.惯性测量单元 智 ai • 机械式、MEMS. • 带陀螺仪、加速度计、磁力计 工 . • 固态激光雷达 • 光纤陀螺FOG或MEMS ww 03.毫米波雷达 • 长距离雷达（77GHz）：Delphi ESR2.5等 G人 w 06.里程计 • 编码器 • 中短距离雷达（24GHz） CU AI AI Pioneer 7 

9 .融合感知模块 区 ⚫ Perception（感知）是以多种传 术 cn 感器的数据与高精度地图的信息 社 技 g. 作为输入，经过一系列的计算及 能 cu 处理，对自动驾驶车的周围环境 智 ai 精确感知的系统。 工 . ⚫ 它能够为下游模块提供丰富的信 ww 息，包括障碍物的位置、形状、 类别及速度信息，也包括对一些 G人 w 特殊场景的语义理解（例如施工 区域，交通信号灯及交通路牌 CU 等）。 AI AI Pioneer 8 

10 .多传感器融合定位及感知 区 ⚫ 多传感器深度融合的基础 术 cn 社 技 g. • 将不同的传感器的数据标定到同一个坐标系，标定精度达到到极高水平 能 cu • 相机内参的标定 智 ai • 激光雷达与GPS/IMU的外参标定 工 . ww • 相机到激光雷达的融合 G人 w • 毫米波雷达（Radar）与GPS/IMU的标定 CU AI AI Pioneer 9 

11 .融合感知模块 区 ⚫ 目前自动驾驶应用的传 术 cn 社 感器主要分为三类：激 技 g. 光雷达（LiDAR），相 能 cu 机（Camera），毫米波 智 ai 雷达（Radar），另外 工 . V2X设备信息、HD ww Map有条件可作为辅助 感知手段。 G人 w CU AI AI Pioneer 10 

12 .融合感知模块 区 ⚫ 多种传感器数据须进行时间、空间同步， 术 cn 社 将所有的时间误差控制在毫秒级 多维感知结果输出 技 g. 检测 场景理解 ⚫ 感知系统以帧为基础（frame-based） （detection） （scene understanding） 能 cu 进行检测、、分类、场景理解等计算， 分类 跟踪 智 ai （classification） （multi-tracking） 最后利用多帧信息进行多目标跟踪 工 . ww ⚫ 兼容不同品牌、不同数量的传感器，提 标定及时间同步 供定制化方案 G人 w 传感器（LiDAR+Radar+2D Camera+3D Camera+HDMap） CU AI AI Pioneer 11 

13 .融合感知模块 区 术 cn 场景理解需要根据判断环境中行人、车辆的运动意图推测一段时间后无人车该如何实现安全驾驶。利用深度 社 技 g. 学习、强化学习等技术，结合高精度单目及双目相机数据获得场景中结构化的三维信息和运动信息，理解交 能 cu 通标志和交通规则，同时对于车辆的任务做出推理和判断，实现安全的无人驾驶。 智 ai 工 . ww G人 w CU AI AI Pioneer 

14 .融合感知模块 区 术 cn 社 针对图像/点云的基于深度学习方法的语义分割和实例分割，用于单目的障碍物检测和场景理解。 技 g. 能 cu 智 ai 工 . ww G人 w CU AI AI Pioneer 

15 .AI Pioneer 融合感知模块 AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社 区 

16 .AI Pioneer 融合感知模块 AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社 区 

17 . 16 区 术 cn 社 融合感知模块 技 g. 能 cu 智 ai • 困难场景 工 . • 复杂场景分割、恶劣天气条件、特殊场景、 ww 小物体检测、红绿灯 • 传感器数据的稳定可靠 G人 w • 后融合向前融合 • 后融合造成低置信度的信息舍弃 CU • 感知输出结果的准确与跟踪性能 AI AI Pioneer 

18 .融合定位模块 区 IMU 轮速计 VO/VIO 术 cn 社 技 g. Local Estimator 能 cu 智 ai 输出多维空间 位姿、运动状 融合定位 工 . 态等信息 ww LiDAR G人 w GNSS LiDAR HD map 语义匹配 Camera CU Radar AI AI Pioneer 17 

19 .AI Pioneer 融合定位模块 AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社 区 

20 .融合定位模块 区 术 cn 社 技 g. 能 cu 智 ai 工 . ww 纯视觉建图和定位导航（Visual SLAM，vSLAM） G人 w 可以提供小范围区域的精确位姿信息但存在长期 漂移问题，使用优化的方法将这些具有互补特性 的传感器融合估计出长时高精度位姿信息。 CU AI AI Pioneer 

21 .融合定位模块 区 术 cn 社 纯视觉建图和定位导航（Visual SLAM，vSLAM）可以提供小范围区域的精确位姿信息但存在长期漂移问 技 g. 题，使用优化的方法将这些具有互补特性的传感器融合估计出长时高精度位姿信息。 能 cu 智 ai 工 . ww G人 w CU AI AI Pioneer 

22 . 区 术 cn 社 技 g. 能 cu HD Map 智 ai • 高精度地图主要体现在对自动驾驶导航算 工 . 法的支持和对感知、定位、控制规划等模 ww 块的支持，可以更好地辅助自动驾驶，提 升感知算法效率，提高静态对象识别。同 G人 w 时通过感知反馈可以不断更新高精度地图。 此外，高精度地图还可以支持智慧园区、 智慧城市的建设。 CU AI AI Pioneer 21 

23 .HD Map 区 ⚫ 高精度地图是指高精度、 术 cn 社 精细化定义的地图，精 技 g. 度达厘米级，其数据纬 能 cu 度包括道路数据和车道 智 ai 周边的固定对象信息。 工 . 因此高精度地图可以理 ww 解为有矢量地图和语义 信息地图组成。 G人 w CU AI AI Pioneer 

24 .HD Map 区 术 cn 社 技 g. 根据加载csv文件生成地图network，进行道路寻径， 目前完成的并已经用于规划的道路信息有道路边界和 能 cu 道路中心线，包括lane.csv、node.csv、point.csv、 智 ai roadedge.csv、line.csv，其中lane的组成方式为 工 . lane-node-point,roadedge的组成方式为 ww roadedge-line-point。决策方式即为沿着道路中心线 行驶。 G人 w 后期逐步部署更多的道路交通信息，包括 area.csv,stopline.csv,whiteline.csv,zebrazone.csv等 CU 信息。 AI AI Pioneer 23 

25 .AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社 区 

26 .AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社 区 

27 .AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社 区 

28 .自动驾驶感知技术展望 区 多传感器深度融合 小样本 可解释图网络 术 cn 社 技 g. ⚫ 基于图空时网络方法的系统动态问题。探索在自动驾驶场景下动态系统的图空时网络关键技术、 能 cu 自动驾驶中的车辆行为预测和行人行为预测问题。结合编码和解码机制，研究解决车辆和行人在 遮挡条件下的系统动态预测问题。 智 ai 工 . ⚫ 研究基于点与点之间的关联强弱特性条件下的注意力融合新方法。探索研究图注意力网络中如何 ww 降低计算成本，探索研究限定场景下的图注意力网络并行计算新方法，提高图注意力网络融合抽 象的计算效率和系统整体性能。 G人 w ⚫ 基于多传感器融合与语义理解方法的可解释深度网络构建关键技术研究。研究复杂场景中的对象、 对象属性、对象之间的关系抽取以及对象的变动方向等。研究新的推理模型，实现可解释深度网 CU 络。 AI AI Pioneer 27 

29 .发展愿景 区 术 cn 社 技 g. 能 cu 智 ai 工 . ww 硬件 软件 应用场景 传感器升级 智能制造及车规 G人 w 算法、算力 数据、仿真 限制场景自动驾驶 多行业自动驾驶技术赋能 智慧交通及智能出行服务变革 CU AI AI Pioneer 28