中文

ALPI:基于2D标签的3D目标检测自动标注器

计算机视觉与模式识别 2024-11-28 v3 人工智能

摘要

3D目标检测在自动驾驶、机器人和增强现实等各种应用中发挥着关键作用。然而,训练3D检测器需要昂贵且精确的标注,这成为将标注规模化到大数据集的障碍。为解决这一挑战,我们提出一种弱监督的3D标注器,仅依赖于来自图像的2D边界框标注,以及尺寸先验。一个主要问题是,仅使用2D框监督3D检测模型不可靠,因为不同3D姿态可能具有相同的2D投影。我们引入一种简单而有效且通用的解决方案:通过构造方式构建带有标注的3D代理对象,并将其添加到训练数据集中。我们的方法仅需尺寸先验即可适应新类别。为更好地将2D监督与3D检测对齐,我们的方法以一种新颖的2D损失表达式确保深度不变性。最后,为了检测更具挑战性的实例,我们的标注器遵循一种离线伪标签方案,逐步改进其3D伪标签。在KITTI数据集上的大量实验表明,我们的方法不仅在汽车类别上表现与以前的工作相当或更好,还在更具挑战性的类别上达到了接近全监督方法的性能。我们进一步通过在更具挑战性的nuScenes数据集上进行首次实验,证明了我们方法的有效性和鲁棒性。我们还提出了一种设置,弱标签来自在MS-COCO上预训练的2D检测器,而非人工标注。代码可在https://github.com/CEA-LIST/ALPI获取。

关键词

引用

@article{arxiv.2407.17197,
  title  = {ALPI: Auto-Labeller with Proxy Injection for 3D Object Detection using 2D Labels Only},
  author = {Saad Lahlali and Nicolas Granger and Hervé Le Borgne and Quoc-Cuong Pham},
  journal= {arXiv preprint arXiv:2407.17197},
  year   = {2024}
}

备注

accepted at WACV2025