基于单视图图像的弱监督单目 3D 检测
计算机视觉与模式识别
2024-03-01 v1
摘要
单目 3D 检测（M3D）旨在从单视图图像中实现精确的 3D 物体定位，这通常涉及劳动密集型的 3D 检测框标注。最近研究了弱监督 M3D，旨在利用大量现有的 2D 标注来免除 3D 标注过程，但它通常需要额外的训练数据（如 LiDAR 点云或多视图图像），这极大地降低了其在各种应用中的适用性和可用性。我们提出了 SKD-WM3D，这是一种弱监督单目 3D 检测框架，利用深度信息仅通过单视图图像实现 M3D，无需任何 3D 标注或其他训练数据。SKD-WM3D 的一个关键设计是自知识蒸馏框架，它通过融合深度信息将图像特征转换为类 3D 表示，并以极小的推理计算开销有效缓解了单目场景中固有的深度模糊性。此外，我们设计了一种不确定性感知蒸馏损失和一种梯度定向迁移调制策略，分别促进知识获取和知识迁移。大量实验表明，SKD-WM3D 明显超越了最先进的方法，甚至与许多全监督方法相当。
引用
@article{arxiv.2402.19144,
title = {Weakly Supervised Monocular 3D Detection with a Single-View Image},
author = {Xueying Jiang and Sheng Jin and Lewei Lu and Xiaoqin Zhang and Shijian Lu},
journal= {arXiv preprint arXiv:2402.19144},
year = {2024}
}