基于多级视觉引导的弱监督3D目标检测
计算机视觉与模式识别
2024-08-22 v3
摘要
弱监督3D目标检测旨在以较低的标注成本（例如2D标签）学习3D检测器。与仍然依赖少量精确3D标注的先前工作不同，我们提出了一个框架，研究如何利用2D和3D域之间的约束而不需要任何3D标签。具体来说，我们从三个视角利用视觉数据来建立2D和3D域之间的联系。首先，我们设计了一个特征级约束，基于目标感知区域对齐LiDAR和图像特征。其次，开发了输出级约束，以强制2D和投影3D框估计之间的重叠。最后，利用训练级约束，通过生成与视觉数据对齐的准确且一致的3D伪标签。我们在KITTI数据集上进行了大量实验，以验证所提出的三个约束的有效性。在不使用任何3D标签的情况下，我们的方法取得了与最先进方法相当的性能，并且与使用500帧3D标注的方法具有竞争力。代码将在https://github.com/kuanchihhuang/VG-W3D公开。
引用
@article{arxiv.2312.07530,
title = {Weakly Supervised 3D Object Detection via Multi-Level Visual Guidance},
author = {Kuan-Chih Huang and Yi-Hsuan Tsai and Ming-Hsuan Yang},
journal= {arXiv preprint arXiv:2312.07530},
year = {2024}
}
备注
Accepted by ECCV'24. Project page: https://github.com/kuanchihhuang/VG-W3D