RALAD：通过检索增强学习桥接自动驾驶中的真实到仿真域差异
计算机视觉与模式识别
2025-07-24 v3 人工智能
摘要
在致力于构建稳健的自动驾驶系统的过程中，训练于真实数据集的模型常常难以适应新的环境，尤其是在面对极端天气条件等角落情况时。收集这些角落情况在现实世界中并不容易，这迫使人们必须使用仿真器进行验证。然而，高计算成本和数据分布中的域差异阻碍了现场与仿真驾驶情景之间的无缝转换。为解决这一挑战，我们提出了用于自动驾驶的检索增强学习 (RALAD)，这是一种旨在低成本下桥接真实到仿真域差异的新型框架。RALAD 包含三个主要设计：(1) 通过一种考虑单个和分组图像距离的增强最优输运 (OT) 方法实现域适应；(2) 一个可应用于各种模型的简单统一框架；(3) 高效的微调技术，在保持鲁棒性的同时冻结计算成本高昂的层。实验结果表明，RALAD 在不同模型下均能在仿真环境中弥补性能下降，同时在真实场景中保持准确性。以 Cross View 为例，真实场景下的 mIOU 和 mAP 指标在 RALAD 微调前后保持稳定；而在仿真环境中，mIOU 和 mAP 指数分别提升了 10.30% 和 12.29%。此外，我们的方法再训练成本约降低了 88.1%。我们的代码已公开于 https://github.com/JiachengZuo/RALAD.git。
引用
@article{arxiv.2501.12296,
title = {RALAD: Bridging the Real-to-Sim Domain Gap in Autonomous Driving with Retrieval-Augmented Learning},
author = {Jiacheng Zuo and Haibo Hu and Zikang Zhou and Yufei Cui and Ziquan Liu and Jianping Wang and Nan Guan and Jin Wang and Chun Jason Xue},
journal= {arXiv preprint arXiv:2501.12296},
year = {2025}
}