通过算法与数据统一迈向统一的 3D 物体检测
计算机视觉与模式识别
2024-09-24 v5
摘要
实现包括室内和室外场景在内的统一 3D 物体检测，在机器人导航等应用中具有重要意义。然而，由于不同场景的数据具有显著不同的特征（例如多样的几何属性和异构的域分布），利用这些数据训练模型面临挑战。本文提出从算法和数据两个角度解决这些挑战。在算法方面，我们首先基于鸟瞰图（BEV）检测范式构建了一个单目 3D 物体检测器，其中显式的特征投影有助于解决几何学习中的模糊性问题。在该检测器中，我们将经典的 BEV 检测架构分为两个阶段，并提出了一种非均匀 BEV 网格设计，以处理因场景间几何差异导致的收敛不稳定问题。此外，我们开发了一种稀疏 BEV 特征投影策略以降低计算成本，并提出了一种统一域对齐方法来处理异构域。在数据方面，我们提出引入深度信息以提高训练鲁棒性。具体而言，我们构建了首个统一的多模态 3D 物体检测基准 MM-Omni3D，并将上述单目检测器扩展为其多模态版本，这是首个统一的多模态 3D 物体检测器。我们将设计的单目和多模态检测器分别命名为 UniMODE 和 MM-UniMODE。实验结果揭示了几项富有洞察力的发现，突出了多模态数据的优势，并证实了所有提出策略的有效性。
引用
@article{arxiv.2402.18573,
title = {Towards Unified 3D Object Detection via Algorithm and Data Unification},
author = {Zhuoling Li and Xiaogang Xu and SerNam Lim and Hengshuang Zhao},
journal= {arXiv preprint arXiv:2402.18573},
year = {2024}
}