BEVCar：用于 BEV 地图与目标分割的相机-雷达融合
机器人学
2025-01-14 v2 计算机视觉与模式识别
摘要
从鸟瞰图（BEV）视角进行语义场景分割对于促进移动机器人的规划与决策至关重要。尽管近期纯视觉方法在性能上取得了显著进展，但它们在恶劣光照条件（如雨天或夜间）下往往表现不佳。虽然主动传感器为这一挑战提供了解决方案，但 LiDAR 的高昂成本仍是一个限制因素。将相机数据与汽车雷达融合提供了一种更廉价的替代方案，但在先前研究中较少受到关注。在本研究中，我们旨在推进这一极具前景的方向，引入了 BEVCar，一种用于联合 BEV 目标与地图分割的新方法。我们方法的核心创新在于首先学习原始雷达数据的基于点的编码，随后利用该编码高效地初始化图像特征向 BEV 空间的提升。我们在 nuScenes 数据集上进行了广泛实验，并证明 BEVCar 优于当前最先进方法。此外，我们表明，融合雷达信息显著增强了在恶劣环境条件下的鲁棒性，并提高了对远处目标的分割性能。为促进未来研究，我们在 http://bevcar.cs.uni-freiburg.de 提供了实验中使用的 nuScenes 数据集的天气划分，以及我们的代码和训练好的模型。
引用
@article{arxiv.2403.11761,
title = {BEVCar: Camera-Radar Fusion for BEV Map and Object Segmentation},
author = {Jonas Schramm and Niclas Vödisch and Kürsat Petek and B Ravi Kiran and Senthil Yogamani and Wolfram Burgard and Abhinav Valada},
journal= {arXiv preprint arXiv:2403.11761},
year = {2025}
}
备注
Accepted for the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2024