ODM3D：缓解前景稀疏性的半监督单目3D目标检测
计算机视觉与模式识别
2023-11-08 v2
摘要
单目3D目标检测（M3OD）因单张RGB图像中缺乏显式深度线索，在自动驾驶中是一项重要且固有挑战的任务。本文致力于通过半监督学习利用大量无标注数据，提升当前表现不佳的单目3D目标检测器。我们提出的ODM3D框架在多个层级进行跨模态知识蒸馏，在训练中将LiDAR域知识注入单目检测器。通过定位前景稀疏性为已有方法训练次优的主因，我们利用LiDAR点中嵌入的精确定位信息，借助所提BEV占用引导掩码实现更具前景注意力与高效的蒸馏，显著改善知识迁移与M3OD性能。此外，基于现有跨模态GT采样技术为何在本任务失效的洞察，我们进一步设计了一种新颖的跨模态对象级数据增强策略，用于有效的RGB-LiDAR联合学习。我们的方法在KITTI验证集与测试集基准上均排名第1，在BEV与3D检测指标上显著超越所有已有单目方法（无论监督或半监督）。
引用
@article{arxiv.2310.18620,
title = {ODM3D: Alleviating Foreground Sparsity for Semi-Supervised Monocular 3D Object Detection},
author = {Weijia Zhang and Dongnan Liu and Chao Ma and Weidong Cai},
journal= {arXiv preprint arXiv:2310.18620},
year = {2023}
}
备注
Accepted by WACV 2024