空中单目三维目标检测

配备摄像机的无人机因其在三维空间中的卓越机动性，可显著增强人类感知世界的能力。然而具有讽刺意味的是，无人机目标检测始终在二维图像空间中进行，这从根本上限制了其理解三维场景的能力。此外，现有为自动驾驶开发的3D目标检测方法无法直接应用于无人机，因为缺乏形变建模，而这对于具有敏感畸变和小目标的远距离空中视角至关重要。为填补空白，本工作提出一种名为DVDET的双视角检测系统，以在二维图像空间和三维物理空间中实现空中单目目标检测。为解决严重的视角形变问题，我们提出一种新颖的可训练地理可形变变换模块，可将信息从无人机视角适当地扭曲到BEV。与面向汽车的单目方法相比，我们的变换包含可学习的形变网络以显式修正严重偏差。为解决数据集挑战，我们提出一个新的大规模仿真数据集AM3D-Sim（由AirSIM和CARLA联合仿真生成）以及一个由DJI Matrice 300 RTK采集的新真实世界空中数据集AM3D-Real，两个数据集均提供用于3D目标检测的高质量标注。大量实验表明：i）空中单目3D目标检测是可行的；ii）在仿真数据集上预训练的模型有益于真实世界性能；iii）DVDET也有益于汽车的单目3D目标检测。为鼓励更多研究者探索该领域，我们将在 https://github.com/PhyllisH/DVDET 发布数据集及相关代码。