Point-DETR3D：利用带有空间点先验的图像数据进行弱半监督3D目标检测
计算机视觉与模式识别
2024-03-26 v2 人工智能
摘要
训练高精度的3D检测器需要大量带有7自由度的标记3D标注，这既费力又耗时。因此，点标注的形式被提出，为3D检测的实际应用提供了重要前景，它不仅更易获取且成本更低，而且为目标定位提供了强大的空间信息。在本文中，我们通过实验发现，仅仅将Point-DETR适配到其3D形式并非易事，会遇到两个主要瓶颈：1）它无法将强大的3D先验编码到模型中，2）由于LiDAR点的极度稀疏性，它在远距离区域生成低质量的伪标签。为了克服这些挑战，我们引入了Point-DETR3D，这是一个用于弱半监督3D检测的教师-学生框架，旨在有限的实例级标注预算内充分利用逐点监督。与仅通过点编码器编码3D位置信息的Point-DETR不同，我们提出了一种显式的位置查询初始化策略以增强位置先验。考虑到教师模型在远距离区域产生的伪标签质量较低，我们通过一种新颖的跨模态可变形RoI融合（D-RoI）引入密集图像数据来增强检测器的感知能力。此外，还提出了一种创新的点引导自监督学习技术，以允许即使在学生模型中也能充分利用点先验。在代表性nuScenes数据集上进行的大量实验表明，我们的Point-DETR3D与先前工作相比取得了显著改进。值得注意的是，仅使用5%的标记数据，Point-DETR3D就达到了其全监督对应版本90%以上的性能。
引用
@article{arxiv.2403.15317,
title = {Point-DETR3D: Leveraging Imagery Data with Spatial Point Prior for Weakly Semi-supervised 3D Object Detection},
author = {Hongzhi Gao and Zheng Chen and Zehui Chen and Lin Chen and Jiaming Liu and Shanghang Zhang and Feng Zhao},
journal= {arXiv preprint arXiv:2403.15317},
year = {2024}
}
备注
Accepted by AAAI2024