多模态3D目标检测

活动介绍

上海白玉兰开源开放研究院发起的“青年学者论坛”，意在为国内外大数据及人工智能领域的优秀青年学者，搭建一个非正式交流平台。我们诚邀发表在国际顶会的论文作者，以第一视角介绍其学术观点、研究细节、成果展现、相关领域前沿方向等话题，促进观点碰撞及交流合作。

此次是“青年学者论坛”第六期活动，青年学者论坛讲师及志愿者持续招募中。
如有意愿，请与我们联系，欢迎广大同学们积极参与。
Email：chengh@baiyulan.org.cn （邮件主题：青年学者论坛）
微信：chhao01 （验证消息：青年学者论坛）

活动安排

• 摘要

3D目标检测是计算机视觉领域的热点话题之一，在自动驾驶场景中具有广泛应用。目前，在自动驾驶场景中，激光雷达和相机是两种常用的传感器。激光雷达返回的点云能够提供高精度的定位信息，而RGB图像能为目标检测提供丰富的语义信息。因此，如何有效的融合多个模态用于3D目标检测是一个值得深入探讨的问题。
我们提出了一种多模态的3D目标检测算法。一方面，我们将点云投影到图像上获取相应图像特征，并设计了一种后融合机制用于处理点云特征和图像特征。另一方面，我们设计了一种新的数据增强方法用于多模态3D目标检测。我们的方法在大型自动驾驶数据集nuScenes上获得了单模型第一的结果。

相关论文

• PointAugmenting: Cross-Modal Augmentation for 3D Object Detection.
• Chunwei Wang, Chao Ma, Ming Zhu and Xiaokang Yang.
• IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021.

讲师介绍

王春微，上海交通大学人工智能研究院在读硕士生，主要研究兴趣集中于多模态3D目标检测、3D目标检测的域迁移问题等深度学习理论与方法研究。目前以第一作者身份已在CVPR会议发表论文1篇。

评议人

王韫博，上海交通大学人工智能研究院助理教授
王韫博博士，毕业于清华大学并获博士学位，曾在MIT的 Joshua B. Tenenbaum教授实验室做访问研究，和吴佳俊博士一起工作。主要从事深度学习的研究，尤其是在预测学习，时空建模和基于模型的POMDP计划等领域。在IJCAI、CVPR、ICLR、ICML、NIPS等顶会上发表10篇以上一作或共同一作论文。

合作媒体

• 示说
• 思否
• 掘金
• CSDN