释放图像分支潜力用于跨模态 3D 目标检测
计算机视觉与模式识别
2023-10-20 v3
摘要
为实现可靠而精确的场景理解，自动驾驶车辆通常融合多种传感模态以利用它们的互补特性。然而，现有的跨模态 3D 检测器并未充分利用图像域信息来解决基于 LiDAR 的检测器的瓶颈问题。本文提出一种新的跨模态 3D 目标检测器，即 UPIDet，旨在从两方面释放图像分支的潜力。首先，UPIDet 引入了一种称为归一化局部坐标图估计的新 2D 辅助任务，该方法能够从图像模态中学习局部空间感知特征以补充稀疏点云。其次，我们发现点云骨干网络的特征表达能力可通过从图像分支的训练目标反向传播的梯度得以增强，这借助一个简洁有效的点至像素模块实现。大量实验与消融研究验证了方法的有效性。值得注意的是，我们在提交时在 KITTI 基准极具竞争力的骑行者类别中取得了排名第一。源代码见 https://github.com/Eaphan/UPIDet。
引用
@article{arxiv.2301.09077,
title = {Unleash the Potential of Image Branch for Cross-modal 3D Object Detection},
author = {Yifan Zhang and Qijian Zhang and Junhui Hou and Yixuan Yuan and Guoliang Xing},
journal= {arXiv preprint arXiv:2301.09077},
year = {2023}
}
备注
Accepted to NeurIPS 2023