Raw2Drive：面向 CARLA v2 的基于对齐世界模型的强化学习自动驾驶
机器人学
2025-10-28 v2 人工智能
计算机视觉与模式识别
摘要
强化学习（RL）能够缓解仿照学习（IL）中固有的因果混淆和分布迁移问题。然而，将RL应用于端到端自动驾驶（E2E-AD）仍是未解之谜，因为其训练难度大，IL仍是学术界和工业界的主流范式。最近的模型基强化学习（MBRL）在神经规划中展现出前景，但这些方法通常需要特权信息作为输入，而非原始传感器数据。我们填补了这一空白，设计了Raw2Drive——一种双流MBRL方法。首先，我们高效训练一个配合特权信息输入的神经规划器的辅助特权世界模型。随后，我们引入通过所提出的引导机制训练的原始传感器世界模型，确保在滚动过程中原始传感器世界模型与特权世界模型保持一致。最后，原始传感器世界模型结合特权世界模型头部中嵌入的先验知识，有效指导原始传感器策略的训练。Raw2Drive迄今为止唯一在CARLA Leaderboard 2.0和Bench2Drive上实现的基于RL的端到端方法，已实现最佳性能。
引用
@article{arxiv.2505.16394,
title = {Raw2Drive: Reinforcement Learning with Aligned World Models for End-to-End Autonomous Driving (in CARLA v2)},
author = {Zhenjie Yang and Xiaosong Jia and Qifeng Li and Xue Yang and Maoqing Yao and Junchi Yan},
journal= {arXiv preprint arXiv:2505.16394},
year = {2025}
}
备注
Accepted by NeurIPS 2025