WARM-3D：一种用于路侧单目3D目标检测的弱监督Sim2Real域适应框架
计算机视觉与模式识别
2024-07-31 v1
摘要
现有的路侧感知系统受限于缺乏公开可用、大规模、高质量的3D数据集。探索使用成本效益高、广泛存在的合成数据集为解决这一挑战并提升路侧单目3D检测性能提供了可行的解决方案。在本研究中，我们引入了TUMTraf合成数据集，提供了一个多样且丰富的高质量3D数据集合，以增强稀缺的真实世界数据集。此外，我们提出了WARM-3D，一个简洁而有效的框架，以辅助路侧单目3D检测的Sim2Real域迁移。我们的方法利用廉价的合成数据集和来自现成2D检测器的2D标签进行弱监督。我们证明，WARM-3D显著提升了性能，在仅使用伪2D监督的情况下，mAP 3D比基线提高了+12.40%。当使用2D真实标签作为弱标签时，WARM-3D甚至达到了接近Oracle基线的性能。此外，WARM-3D提高了3D检测器在各种真实世界环境中识别未见样本的能力，突显了其实际应用的潜力。
引用
@article{arxiv.2407.20818,
title = {WARM-3D: A Weakly-Supervised Sim2Real Domain Adaptation Framework for Roadside Monocular 3D Object Detection},
author = {Xingcheng Zhou and Deyu Fu and Walter Zimmer and Mingyu Liu and Venkatnarayanan Lakshminarasimhan and Leah Strand and Alois C. Knoll},
journal= {arXiv preprint arXiv:2407.20818},
year = {2024}
}