基于深度学习的End-to-end自动驾驶方案

1 .基于深度学习的End-to-end自动 驾驶方案 郁浩 

2 .rule based solution 

3 .Rule based World model 感知 决策 传感器 控制 车辆 

4 .Rule based – Architecture by SAE 

5 .Rule based  系统复杂性 人工设计上千个模块  高精地图的成本 广铺 更新  车载硬件计算能力 各个子模块自己的网络 

6 .Rule based 难度之大，已经远超一家公司的能力范围，需要一个协作的生态（联盟）。 

7 .人，如何驾驶？ 

8 .End-to-end 

9 .简介 lateral control raw image longitudinal control 

10 .End-to-end 历史及现状 • 1988 – ALVINN, CMU • 全连接，浅，单目 • 2005 – DAVE, Yann LeCun • 2015 – DeepDriving, princeton • 2016 – DAVE 2, NVIDIA • 2016至今 – 初创公司 

11 .End-to-end 历史及现状 • 1988 – ALVINN, CMU • 2005 – DAVE, Yann LeCun • 卷积，双目，off-road • 2015 – DeepDriving, princeton • 2016 – DAVE2, NVIDIA • 2016至今–初创公司 

12 .End-to-end 历史及现状 • 1988 – ALVINN, CMU • 2005 – DAVE, Yann LeCun • 2015 – DeepDriving, princeton • 中间状态，由图像直接生成关键参数 • 2016 – DAVE 2, NVIDIA • 2016至今–初创公司 

13 .End-to-end 历史及现状 • 1988 – ALVINN, CMU • 2005 – DAVE, Yann LeCun • 2015 – DeepDriving, princeton • 2016 – DAVE 2, NVIDIA • 单目、卷积、实车、评估体系 • 评估体系、三目相机 • 2016 –初创公司 

14 . End-to-end 历史及现状 • 1988 – ALVINN, CMU • 2005 – DAVE, Yann LeCun • 2015 – DeepDriving, princeton • 2016 – DAVE 2, NVIDIA • 2016至今–初创公司 • Comma.ai, Drive.ai , AutoX，udacity等 

15 .End-to-end Robot 

16 .End-to-end 现状总结 有点玄乎…… 能干啥？ 目前的主要问题? 不能干啥？ 具体的，和rule based 有啥区别和联系？ 

17 .End-to-end 现状总结 Rule based End-to-end Reactive control √ √ （边打电话） 功能 Proactive planning √ × （思考判断） (research 阶段) 系统工程复杂度 极高 极低 算法要求 高 高 可解释性 高 低 广铺成本 高（HD Map） 低 传感器成本 极高 低 车载计算能力 极高 低 核心问题 研发、广铺成本极高 没有足够优质的数据 

18 .End-to-end 现状总结 Rule based End-to-end Reactive control √ √ （边打电话） 功能 Proactive planning √ × （思考判断） (research 阶段) 系统工程复杂度 极高 极低 算法要求 高 高 可解释性 高 低 广铺成本 高（HD Map） 低 传感器成本 极高 低 车载计算能力 极高 低 核心问题 研发、广铺成本极高 没有足够优质的数据 关系 明显的互补关系 （对立 or 融合？） (分级对待：普通行为，Safety layer) 

19 .Apollo实践：数据 

20 .数据 真实数据 模拟器数据 OpenAI, Universal DeepMind, Lab Udacity TORCS Oxford Virtual KITTI Comma.ai VizDoom … 太少， 游戏尚可， 几乎没中国国情 真实场景不可用 

21 .地图采集车 

22 .原始数据  Image： 频率：8Hz 前向,HFOV:120 裁剪: 320*320*3  RTK-GPS： 频率:20Hz 精度:cm级  IMU： 频率:20Hz 

23 .轨迹处理  数据质量影响因素： 坐标系 作业环境 系统噪音  Cleaning： 直行曲率方差  Smoothing： 连续平滑，又不能损失微调信息 二次  三次  样条曲线  最终结果：高精度的轨迹，3cm 

24 .逆向汽车动力学  反演横向指令： 轨迹  拐弯半径  曲率  方向盘转角 eg. Ackermann Steering Model  横向指令：steering angle  curvature 更普适，不受汽车自身参数影响 相互转换，业界已有成熟方案  纵向指令：加速度 IMU 厂商已经生成精准Vx，Vy 以加速度代替油门、刹车 

25 .数据开源  采集任务： datasets 由文件编号标明 分为图像、姿态两部分 128 256 512 ……  图像文件 K-V文件 图像 Key：utc_time Value：320*320*3像素矩阵 姿态  姿态文件 数组，11列 utctime, Veast, Vnorth, Ct0, Ct1, Ct2, Ct3, Ct4, Ct5, Ct6, Ct7 内网说明：http://wiki.baidu.com/pages/viewpage.action?pageId=292260895 

26 .Apollo实践：模型 

27 .横向模型：CNN  物理含义： 控制方向盘，横向移动  问题定义： Image  Curvature Regression  基本方案： CNN  指标： 准度、性能同等重要 Nvidia, DAVE 2’s network 

28 .横向模型：CNN  CNN：基本“套路”  视频Demo：  问题： 1）只能学到“正常”驾驶 行为 “异常”情况的处理？ 2）不同采集车，参数有差 异，迁移困难  如何迁移学习？ 

29 .Q&A