空间检索增强的无人驾驶系统
计算机视觉与模式识别
2025-12-09 v1
摘要
现有的无人驾驶系统依赖 onboard 传感器（摄像头、LiDAR、IMU 等）进行环境感知。然而，这种范式受限于驾驶时间的感知视野，常在视野受限、遮挡或极端条件（如黑暗和雨天）下失败。相反，人类驾驶员能够在视力不佳时回忆道路结构。为赋予模型这种“回忆”能力，我们提出空间检索范式，引入离线检索得到的地理图像作为额外输入。这些图像可从离线缓存（如 Google Maps 或存储的无人驾驶数据集）轻松获取，无需额外传感器，使其成为现有 AD 任务的即插即用扩展。为开展实验，我们首先通过 Google Maps API 检索地理图像，将新数据与 ego-vehicle 轨迹对齐。我们在五个核心无人驾驶任务上建立基线：目标检测、在线制图、占有网格预测、端到端规划和生成式世界建模。大量实验表明，扩展后的模态能够提升某些任务的性能。我们将开源数据 curated code、数据和基准，以便进一步研究这一新的无人驾驶范式。
关键词
引用
@article{arxiv.2512.06865,
title = {Spatial Retrieval Augmented Autonomous Driving},
author = {Xiaosong Jia and Chenhe Zhang and Yule Jiang and Songbur Wong and Zhiyuan Zhang and Chen Chen and Shaofeng Zhang and Xuanhe Zhou and Xue Yang and Junchi Yan and Yu-Gang Jiang},
journal= {arXiv preprint arXiv:2512.06865},
year = {2025}
}
备注
Demo Page: https://spatialretrievalad.github.io/ with open sourced code, dataset, and checkpoints