从模拟场景迁移到真实场景的单目 3D 目标检测
计算机视觉与模式识别
2024-08-29 v1
摘要
从单目图像中在动态路边场景中准确检测 3D 目标 remains a challenging problem due to varying camera perspectives and unpredictable scene conditions. 本文引入了两阶段训练策略以解决这些挑战。我们的初始方法是在大规模合成数据集 RoadSense3D 上进行训练，后者为稳健的特征学习提供了多样化的场景。随后，我们在组合真实世界数据集上进行微调，以增强其对实际条件的适应性。Cube R-CNN 模型在具有挑战性的公开基准测试中的实验结果显示，在进行迁移学习后，检测性能显著提升：在 TUM Traffic A9 Highway 数据集上，平均精度从 0.26 提升至 12.76；在 DAIR-V2X-I 数据集上，从 2.09 提升至 6.60。代码、数据和定性视频结果已在项目网站 https://roadsense3d.github.io 提供。
引用
@article{arxiv.2408.15637,
title = {Transfer Learning from Simulated to Real Scenes for Monocular 3D Object Detection},
author = {Sondos Mohamed and Walter Zimmer and Ross Greer and Ahmed Alaaeldin Ghita and Modesto Castrillón-Santana and Mohan Trivedi and Alois Knoll and Salvatore Mario Carta and Mirko Marras},
journal= {arXiv preprint arXiv:2408.15637},
year = {2024}
}
备注
18 pages. Accepted for ECVA European Conference on Computer Vision 2024 (ECCV'24)