VSRD：用于弱监督3D目标检测的实例感知体积轮廓渲染
计算机视觉与模式识别
2024-04-02 v1
摘要
单目3D目标检测由于单目深度估计固有的病态性质，在3D场景理解中构成了重大挑战。现有方法严重依赖于使用大量3D标签的监督学习，这些标签通常通过对LiDAR点云进行昂贵且劳动密集的标注获得。为了解决这个问题，我们提出了一种新颖的弱监督3D目标检测框架VSRD（体积轮廓渲染用于检测），该框架无需任何3D监督，仅需弱2D监督即可训练3D目标检测器。VSRD包括多视图3D自动标注，以及随后使用自动标注阶段生成的伪标签训练单目3D目标检测器。在自动标注阶段，我们将每个实例的表面表示为有符号距离场（SDF），并通过我们提出的实例感知体积轮廓渲染将其轮廓渲染为实例掩码。为了通过渲染直接优化3D边界框，我们将每个实例的SDF分解为长方体SDF和表示与长方体残差的残差距离场（RDF）。这种机制使我们能够通过将渲染的实例掩码与真实实例掩码进行比较，以端到端的方式优化3D边界框。优化后的3D边界框可作为3D目标检测的有效训练数据。我们在KITTI-360数据集上进行了大量实验，表明我们的方法优于现有的弱监督3D目标检测方法。代码可在https://github.com/skmhrk1209/VSRD获取。
引用
@article{arxiv.2404.00149,
title = {VSRD: Instance-Aware Volumetric Silhouette Rendering for Weakly Supervised 3D Object Detection},
author = {Zihua Liu and Hiroki Sakuma and Masatoshi Okutomi},
journal= {arXiv preprint arXiv:2404.00149},
year = {2024}
}
备注
CVPR 2024