面向端到端自动驾驶的 Radar-Camera 融合基线：SpaRC-AD
计算机视觉与模式识别
2025-08-15 v1 机器人学
摘要
端到端自动驾驶系统通过统一优化感知、运动预测和规划，承诺实现更好的性能。然而，基于视觉的方法在恶劣天气、部分遮挡以及精确速度估计方面面临根本性限制——这些都是安全关键场景中准确运动理解和长程轨迹预测至关重要的挑战，对于避免碰撞至关重要。为解决这些限制，我们提出 SpaRC-AD，一个面向规划导向的相机-雷达查询基 Fusion 框架。通过稀疏 3D 特征对齐和 doppler 基于速度估计，我们实现了强大的 3D 场景表示，以细化 agent 锚点、地图 polyline 和运动建模。我们的方法在多个自动驾驶任务上均显著优于最新的仅视觉基准，包括 3D 检测 (+4.8% mAP)、多目标跟踪 (+8.3% AMOTA)、在线地图构建 (+1.8% mAP)、运动预测 (-4.0% mADE)和轨迹规划 (-0.1m L2 和 -9% TPC)。我们在多个具有挑战性的基准上实现了空间一致性和时间一致性，包括真实世界开放式 nuScenes、长程 T-nuScenes 以及封闭式模拟器 Bench2Drive。我们展示了雷达融合在安全关键场景中有效性，其中准确的运动理解和长程轨迹预测对于避免碰撞至关重要。所有实验的源代码均可用 https://phi-wol.github.io/sparcad/ 获取。
引用
@article{arxiv.2508.10567,
title = {SpaRC-AD: A Baseline for Radar-Camera Fusion in End-to-End Autonomous Driving},
author = {Philipp Wolters and Johannes Gilg and Torben Teepe and Gerhard Rigoll},
journal= {arXiv preprint arXiv:2508.10567},
year = {2025}
}
备注
8 pages, 4 figures, 5 tables