OpenDataLab AI Talk系列直播-自动驾驶前沿技术探索与应用思考

1 . en ab Op aL Da t en Da b 自动驾驶前沿技术探索与应用思考 La Op en ta Op 耿向威 — 感知算法工程师 Da b 上海人工智能实验室 - 智慧交通(感知) La en b ta La 2022年9月14日 Op Da ta en Da ab 

2 .Da ta La b Op ab en Da Op en t aL 3 2 4 1 Da ab 目录 en ta 实践总结 La Da ta b 自动驾驶BEV算法 Op 自动驾驶数据闭环流程 La 三维自动驾驶数据集介绍 b en Op en Da 

3 .Da ta La b Op ab en Da t 1 自动驾驶BEV算法 Op en aL Da ab en ta La Da ta b La Op b en Op en Da 

4 . en ab Problem Setup: Multi-Camera 3D Perception Op aL Da INPUT AI/DL/NN OUTPUT t en Da b La Op en ta Op Da b La en b ta La Op 4 Da ta en Da ab 

5 . en ab Problem: Per-camera detection then fusion (nV) Op aL Da t en Da b La Op en ta Op Da b Road edge/curve La Laneline en b ta La Op 5 Da ta Traditional method: Don’t have depth - project from image plane(Front view) to vector per pixel Fusion is difficult as objects span differently across images. space (BEV). en Da - assumption ground is horizontal. ab which is not ture 

6 . en ab Solution: BEV-based End-to-End Perception Op aL Da BEV ● Because of the geometry of road, t projection cannot precisely project en Da corresponding point to BEV. (e.g., 3D 车道线） b ● if some part is occluded, the projection will La be wrong. (下图线被车遮挡例子) Op en ta Op Need to find relationship between BEV grid and Da b images patch. La en b ta La Op 6 Da ta Front view en Da ab 

7 . en ab Implementation: Transformer-based View Transformation Op aL Da t en Da b “Raster” position encoding, La generate a position encoding Op en vector for every grid on raster. ta Op Da b La en b ta La Op 7 Da ta front view side view rear view Background on Transformer en Da ab - What: a query and a set of key-value pairs to an output Attention is all you need, - The output: a weighted sum of the values, where the weight assigned to each value is https://arxiv.org/pdf/1706.03762.pdf computed by a compatibility function of the query with the corresponding key. Multi-head attention Dot-product Attention 2017 

8 .Da ta La b Op ab en Da Op en t aL Da ab Performance: BEV perception algorithm en ta La Da ta b La Op b en Op en Da 

9 . en 自动驾驶感知算法 ab Op aL Image view based Da t Images Point Cloud en Da b La Op en ta Op Image-view Algorithm LiDAR Network Da b PV Results La 2D→3D Conversion Temporal & Spatial en b 3D Results 3D Results ta La Op Temporal Module Fusion Da ta en Perception Results Da ab Shanghai AI Laboratory | 上海人工智能实验室 9 

10 . en 自动驾驶感知算法 ab Op aL Image view based Da t Images Point Cloud en Da b La Op en ta Op Image-view Algorithm LiDAR Network Da b PV Results La 2D→3D Conversion Temporal & Spatial en b 3D Results 3D Results ta La Op Temporal Module Fusion Da ta en Perception Results Da ab Image-view方案使用不同网络完成感知子任务，最后通过以 Shanghai AI Laboratory | 上海人工智能实验室 10 规则为主 的融合方法对不同网络的感知结果进行融合 

11 . en 自动驾驶感知算法 ab Op aL Image view based BEV view based Da Images Point Cloud t Images Point Cloud en Da b La Op en ta Op Feature Extractor Feature Extractor Image-view Algorithm LiDAR Network Perspective View(PV) Da BEV Features b PV Results Features La 2D→3D Conversion Temporal & Spatial 2D→3D Conversion Fusion en b BEV Features 3D Results 3D Results ta La Op Temporal & Spatial Temporal Module Fusion Da ta Perception Results en Perception Results Da ab Image-view方案使用不同网络完成感知子任务，最后通过以 Shanghai AI Laboratory | 上海人工智能实验室 11 规则为主 的融合方法对不同网络的感知结果进行融合 

12 . en 自动驾驶感知算法 ab Op aL Image view based BEV view based Da Images Point Cloud t Images Point Cloud en Da b La Op en ta Op Feature Extractor Feature Extractor Image-view Algorithm LiDAR Network Perspective View(PV) Da BEV Features b PV Results Features La 2D→3D Conversion Temporal & Spatial 2D→3D Conversion Fusion en b BEV Features 3D Results 3D Results ta La Op Temporal & Spatial Temporal Module Fusion Da 相比Image-view方案，基于BEV方案 优势： ta 1. 统一 图像 和 其他传感器 的特征 Perception Results en Perception Results Da ab Image-view方案使用不同网络完成感知子任务，最后通过以 2. 便于 传感器融合 Shanghai AI Laboratory | 上海人工智能实验室 12 规则为主 的融合方法对不同网络的感知结果进行融合 3. 可将BEV feature给到下游 规控 模块 

13 . en 自动驾驶感知算法 ab Op aL Da t en Da b La Op en ta Op 训练 三维空间下多任务 网络，需要怎样的 数据集？ 怎样构建与维护 这样的数据集？ Da b La en b ta La Op Credit: Tesla AI Day 2021 Da ta en Da ab Shanghai AI Laboratory | 上海人工智能实验室 13 

14 .Da ta La b Op ab en Da t 2 自动驾驶三维数据 Op en aL Da ab ● 仿真 ● 传感器 ta ● 数据标注 en La Da ta b La Op b en Op en Da 

15 . en 自动驾驶三维数据 ab Op aL 主流数据集一览 Da 3D bbox数量 t en Da b America La San Francisco Op en Mountain View Phoenix America ta America Palo Alto Op Boston Singapore Da b La en b China ta La China Unknown Germany Op Beijing America Karlsruhe Miami America Da Pittsburgh ta San Francisco Mountain View Santa Cruz San Mateo Singapore en Da ab 2012 2018 2019 2020 2021 15 

16 . en 自动驾驶三维数据 ab Op aL 自动驾驶数据集传感器配置 Da t en Da b La LiDAR/Camera不同步 Op en camera Lidar ta 25-60 fps 10 Hz Op Da b Radar IMU：200Hz以上 同步方 La 20 Hz 轮速计：50Hz 数据集 Lidar Camera（FOV，fps） 式 en GPS：1-2Hz（最高10Hz） b kitti 1(10hz) 4（90°，10Hz） 硬同步 ta La 不同传感器及其输出帧率 Op waymo 5(10hz) 5 (50.4°,10hz) - Da nuscene 1（20hz） 6（70°,rear cam 110°，12hz） 硬同步 ta 数据同步 ● 硬同步，硬件直接连接触发 argoverse 2(10hz) 9（69.3°,30Hz） - en Da ab ● 软同步，软件同步触发 lyft L5 3(10hz) 7 (87.1°,10hz) 硬同步 16 

17 . en 自动驾驶三维数据 ab Op aL 数据手工标注 Da t en Da b La 3DBBox Op en Human pose trajectory HDMap ………… ta Op Class 数据集 3D bbox 2D bbox Lidar-seg 3d/2d tracking id num Da b kitti 8 2DBBox La en waymo 4 b ta La nuscene 23 Op argovers Da 15 ta e Lidar Seg lyft 9 en Da ab 数据集标注情况统计 17 

18 .Da ta La 数据自动标注 b Op 自动驾驶三维数据 ab en Da Op en t aL Da ab en ta La Da ta b La Op b en Op 用户数据挖掘 三维场景重建 en 18 Da 

19 . en 自动驾驶三维数据 ab Op aL 数据自动标注 三维场景重建 Da t en Da 图像重建 图像+LiDAR重建 b La 涉及技术：神经渲染，VSLAM，Detection等 涉及技术：SLAM，Detection等 Op en ta Op Da b La en 点云，物体重建 道路重建 b ta La Op Da ta 基于高精地图重建 三维环境重建 en Da 神经渲染重建 神经渲染重建 ab 19 

20 . en 自动驾驶三维数据 ab Op aL 数据自动标注 三维场景重建 Da t en Da 图像重建 图像+LiDAR重建 b La 涉及技术：神经渲染，VSLAM，Detection等 涉及技术：SLAM，Detection等 Op en ta Op Da b La en 点云，物体重建 道路重建 b ta La Op Da ta 基于高精地图重建 三维环境重建 en Da 神经渲染重建 神经渲染重建 ab 20 通过三维重建结合语义信息，可以自动化地生成三维真值 

21 . en 自动驾驶三维数据 ab Op aL 数据自动标注 数据挖掘 AV Map 构成 Da ● 行驶轨迹 t ● 限速 en 除了使用LiDAR，Camera，还可以使用GPS/IMU等其他传感器构 Da b ● 车道线 建地图数据 ● 路况观察点(停车点) La IMU Op en 涉及技术：道路建模，物体检测等 ● 交通要素结构信息 ○ 交通灯—路口 ta ○ 路口—路口 Op 数据采集 数据对齐 AV Map生成 Da b La en b ta La Op Da ta From CES 2022: en REM(Road Experience Management) Da ab 中AV Map生成方法 21 通过挖掘行车数据，可以对道路环境建模，且数据更为准确 

22 . en 自动驾驶三维数据 ab Op aL 仿真 Da 仿真是获取极端场景 数据的重要手段 t en 天气 物理特性 视角转换 Da b 三维重建 仿真器 La Op en 生成 ta Op … LiDAR 场景编辑 车辆添加 数字资产 Da b La en b ta La Op Da ta en Da Block-NERF: Scalable large scene neural view Nerf in the wild: Neural radiance fields for unconstrained photo ab synthesis, CVPR 2022. collections, CVPR 2021. 22 仿真是获取极端场景的重要手段。仿真器可实现 天气，车辆物理特性 等仿真。此外也可直接使用网络实现 场景编辑 以及 天气转换 

23 .Da ta La b Op ab en Da Op en t aL 3 自动驾驶数据闭环流程 Da ab en ta La Da ta b La Op b en Op en Da 

24 . en 自动驾驶数据闭环 ab Op aL 自动驾驶为什么需要数据闭环 Da t en Da 数据采集 数据标注 模型训练 模型部署 b ？ La Op en ● 自动驾驶算法需要大量数据 采集难度大 出于安全性考量，自动驾驶需要在低频率场景正常工作 ● 自动驾驶数据为长尾分布 ta Op 出现频率 Da b La en b ta La Op Da ta en Da ab 自动驾驶场景 24 24 只有通过数据闭环，通过反馈失效场景，不断收集低频率场景数据，才能提升自动驾驶算法性能 

25 .Da ta 数据收集 数据平台 La b Op 自动驾驶数据闭环 ab en Da t 模型部署 Op en aL Da ab 自动标注 en ta La Da b 模型训练 ta La Op b en Op 干净标签数据集 人工标注/质检和精修 en 25 Da 

26 . en 自动驾驶数据闭环 ab Op aL Da 数据平台 自动标注 人工标注/质检和精修 t en Da b La Op en 数据收集 ta 影子模式 增量数据采集 Op 当用户行为与算法输出不一致 时，采集数据 通过场景检测模型，收集特定场景数据 Da b • Bounding box jitter La • Detection flicker en • Driver didn't brake but tracker thinks 数据收集 b CIPV is rapidly decelerating ta La • Brake lights are detected as on but 干净标签数据集 Op acceleration is positive • … Da ta en Da ab 模型部署 模型训练 26 

27 . en 自动驾驶数据闭环 ab Op aL Da 数据平台 自动标注 人工标注/质检和精修 t en Da b La Op en 真值获取过程 ta 通过运行在云平台的自动标注算法，结合人工标注，获取数据真值 Op Da b La en 数据收集 b ta La 干净标签数据集 Op Da ta en Da ab 模型部署 模型训练 27 

28 . en 自动驾驶数据闭环 ab Op aL Da 数据平台 自动标注 人工标注/质检和精修 t en Da b La Op en 模型训练与部署 ta 模型训练 模型部署 Op 对训练的模型进行剪枝、量化并通过OTA升级 在超算平台上，使用收集的数据进行模型训练 部署到用户侧板端 Da b 架构 SoC 特斯拉Dojo 鹏城云脑 商汤平台 La （美国） （深圳 ） （上海临港） CPU+GPU+ASIC Tesla FSD en 数据收集 b 总算力 1.8EFLOPS 1EFLOPS 3.74EFLOPs Nvidia Orin ta （AI峰值速度） La 干净标签数据集 存储 10PB Op 64PB 160PB CPU+ASIC Mobileye EyeQS 地平线BPU Da ta CPU+FPGA waymo(intel XeoncCPU+Altera FPGA) en Da ab 模型部署 模型训练 28 自动驾驶算法迭代越来越依赖与大规模计算中心 

29 .Da ta La b Op 4 实践总结 ab en Da Op en t aL Da ab en ta La Da ta b La Op b en Op en Da