3D激光雷达深度学习端侧解决方案

1 .3D激光雷达深度学习端侧解决方案 张益新 1 

2 .自我介绍 雪湖科技算法副总监，google 机器学习开发专家 目前主攻3D激光雷达深度学习端侧解决方案 

3 .新基建-3D激光雷达的落地解决方案 中国的新基建 激光雷达的市场 3D目标检测 3D激光雷达深度学习解决方案 未来的展望 

4 .中国的新基建 万亿级市场 新基建是智慧经济时代贯彻新发展理念，吸收新科技革命成果，实现国家生态化、数字化、智能化、高速化、新 旧动能转换与经济结构对称态，建立现代化经济体系的国家基本建设与基础设施建设，包括 绿色环保防灾公共卫生服务效能体系建设、 5G—互联网—云计算—区块链—物联网基础设施建设、 人工智能大数据中心基础设施建设、 以大健康产业为中心的产业网基础设施建设、 新型城镇化基础设施建设、 高新技术产业孵化升级基础设施建设等， 具有创新性、整体性、综合性、系统性、基础性、动态性的特征。 

5 .新型基础设施 新型基础设施主要包括三方面内容： 一是信息基础设施，主要指基于新一代信息技术演化生成的基础设施，比如，以5G、物联网、工业互联网、卫星 互联网为代表的通信网络基础设施，以人工智能、云计算、区块链等为代表的新技术基础设施，以数据中心、智 能计算中心为代表的算力基础设施等。 二是融合基础设施，主要指深度应用互联网、大数据、人工智能等技术，支撑传统基础设施转型升级，进而形成 的融合基础设施，比如，智能交通基础设施、智慧能源基础设施等。 三是创新基础设施，主要指支撑科学研究、技术开发、产品研制的具有公益属性的基础设施，比如，重大科技基 础设施、科教基础设施、产业技术创新基础设施等。伴随技术革命和产业变革，新型基础设施的内涵、外延也不 是一成不变的，将持续跟踪研究 

6 .新基建项目 1、5G 基建：今年基站建设量有望超 55 万个 2、「数据中心」，行业前景广阔 3、人工智能：今年我国市场规模增速预计远超全球平均水平 4、工业互联网：预计「5G+工业互联网」将是投入重点 5、特高压：或带来 1500 亿元的增量市场 6、城际高速铁路和城际轨道交通：预计 2020 年通车里程有望突破 1000 公里 7、充电桩：市场空间千亿元级别 

7 .新基建的一些进展 重点智慧园区建设的总集成商参与承建国家首批智慧园区的重点企业. 客户之前落地的项目主要为GPU工控机方案（浙江上海一期项目） 近期正在准备参与浙江二期重点项目（总里程100+公里） 甲方明确告知不希望再使用GPU方案,正在规划嵌入式ARM+AI 芯片方案 

8 .激光雷达的原理 工作原理是通过发射和接收激光束，分析激光遇到目标对象后的折返时间，计算出到目标对象的相对距离，并利用 此过程中收集到的目标对象表面大量密集的点的三维坐标、反射率和纹理等信息，快速得到出被测目标的三维模型 以及线、面、体等各种相关数据，建立三维点云(Point Cloud)图，绘制出环境地图，以达到环境感知的目的。 

9 .激光雷达的分类 激光雷达按照使用功能、探测方式、载荷平台等可分为不同的类型。 1. 按功能分类：激光测距雷达，激光测速雷达，激光成像雷达，大气探测激光雷达，跟踪雷达； 2. 按线数分类：单线激光雷达，多线激光雷达； 3. 按工作介质分类：固体激光雷达，气体激光雷达，半导体激光雷达； 4. 按扫描方式分类：MEMS型激光雷达，Flash型激光雷达， 相控阵激光雷达，机械旋转式激光雷达； 5. 按探测方式分类：直接探测激光雷达，相干探测激光雷达； 6. 按激光发射波形分类：连续型激光雷达，脉冲型激光雷达； 7. 按载荷平台分类：机载激光雷达，车载激光雷达，地基激光雷达，星载激光雷达； 

10 .激光雷达主要技术指标 水平分辨率：就是转一圈360°中生成的点云数，一般为1024或2048个点。 水平角分辨率：相邻两个点云之间的夹角，如果水平分辨率为1024，则水平角分辨率为 360° / 1024 = 0.35°。 线束：线表示激光雷达系统包含独立的发射机/接收机的数目，线就是组的意思，64线也称64组 发射机/接收机，有时候也叫垂直分辨率。 垂直角分辨率：指的是垂直方向上两条扫描线的间隔度数, 假如有64组激光器，垂直视角为45°，则垂直角分辨率为 45° / 64 = 0.7°。 方位角：包括水平方位角和垂直方位角(垂直视场角)，指的是激光雷达在水平和垂直方向的检测角度，激光雷达的水平方位角为 360°。 扫描帧频: 也称旋转频率，指的是雷达每秒钟旋转的圈数，单位 Hz 。例如 10 Hz 即每秒转 10 圈。 测量精度：精度表示设备测量位置与实际位置偏差的范围，形式为±1.5 – 5 cm 。 探测距离：激光雷达的最大测量距离，在自动驾驶领域应用的激光雷达(80%反射率)的测距范围普遍在100~200 m 左右。 采样率：也称数据率，即激光雷达每秒钟生成的激光点数，例如：64线扫描帧频为10Hz 的激光雷达，水平分辨率是 1024，因此每秒钟生 成的激光点数和为：64*10*1024 = 655360 points/sec 

11 .激光雷达的扫描过程 

12 .激光雷达的应用场景 机器人领域——帮助机器人实现自主定位导航 无人车领域——自主感知道路环境及规划路线 海洋生物——海洋探索和渔业资源监测 无人机领域——规避障碍物 AR/VR领域——精准定位三维空间位置 3D打印——扮演测量、监控等角色 

13 .3D目标检测 vs. 2D目标检测 

14 .3D优势在于信息 3D目标检测使用 RGB 图像、RGB-D 深度图像和激光点云，输出物体类别及在三维空间中的长宽高、航向角等信息 相比于2D，3D的Bounding Box的表示除了多了一个维度的位置和尺寸，还多了三个角度。可以想象，一架飞机的 Bounding Box的尺寸的是固定的，飞机的姿态除了位置之外，还有俯仰角、偏航角和翻滚角三个角度。 目前对于3D Object Detection有迫切需求的产业是自动驾驶产业，因为要想安全的自动驾驶，需要周围障碍物的三 维位姿，在图片中的二维位姿不带深度信息，没有办法有效避免碰撞。所以3D Object Detection的数据集大多也是 自动驾驶数据集，类别也主要是车辆和行人等，比较常用的有kitti和nuscenes 。另外目前新基建出来后，智慧交通里 的路端RSU开始需要环境的3D信息。 

15 .3D- 目 标 检 测 

16 .开源项目 OpenPCDet mmdetection3D https://github.com/Hub-Tian/Awesome-3D-Detectors 

17 .激光点云处理方案 3D方法处理 2D方法处理 体素格 平面投影 

18 .SECOND Neural Network for LiDAR 

19 .second 

20 .PointPillar Neural Network 对于很多人来说最大的好处就是可以使用TensorRT int8加速，作者也提供了相应的代码 

21 .

22 .其他网络结构 

23 .效果展示 

24 .AI芯片分类 GPU FPGA ASIC TPU 

25 .雪湖激光雷达感知IP性能 激光雷达深度学习感知 IP 算 法：SECOND网络 支持硬件：Xilinx ZU7/ZU11 支持算子：稀疏卷积、子流稀疏卷积等 帧 率：10+帧 时 延：120毫秒 检测范围：前后±40m，左右±40m ，高度6m 分 辨 率：0.05m*0.05m*0.05m 资源使用： DSP BRAM URAM LUT FF 1,492 220 74 101,810 248,692 

26 .车端解决方案: IP or 定制开发 激光雷达感知 视觉感知 

27 .未来展望 随着激光雷达的价格降低，图片级别的激光雷达出现; 3D目标检测 有可能向anchor free的方向发展 随着中国的新基建的发展，激光雷达的应用会逐步扩大; RSU市场份额会逐渐提高， 车端的市场会继续扩大 城市园区的应用会逐渐出现，低速送货车等。 激光雷达出厂都是带有算法，包括3D目标检测，分割，分类，跟踪等。 

28 .未来展望 可重构的AI芯片 所谓“可重构”，芯片内部的电路结构可以根据软件进行动态调整，对不同的软件都 力求达到定制化硬件的性能. 你可以把它的工作原理想象成铁路网络里面的扳道岔，也就是铁路工人扳动铁轨的道 岔，实现火车运行线路的改变。只不过在可重构芯片里面有大量的道岔，而且每个道 岔都是晶体管开关，可以非常非常快速地扳动，这就实现了根据具体问题，实时调整 电路结构的功能，实现了硬件和软件高度匹配。 对于新的问题，软件改变了，硬件能够在几十纳秒的时间里面针对软件需求进行改变 

29 .合作交流