风险感知世界模型预测控制用于可泛化的端到端自动驾驶
计算机视觉与模式识别
2026-02-27 v1 人工智能
机器人学
摘要
随着模仿学习（IL）和大规模驾驶数据集的进步，端到端自动驾驶（E2E-AD）近年来取得了巨大进展。目前，基于 IL 的方法已成为主流范式：模型依赖专家给出的标准驾驶行为，并学习最小化其动作与专家动作之间的差异。然而，这种“仅像专家一样驾驶”的目标存在泛化性有限的缺陷：当遇到专家示范分布之外的罕见或未见过的长尾场景时，模型在缺乏先验经验的情况下倾向于产生不安全的决策。这引出了一个基本问题：E2E-AD 系统能否在没有任何专家动作监督的情况下做出可靠决策？受此启发，我们提出了一个名为风险感知世界模型预测控制（RaWMPC）的统一框架，通过鲁棒控制来解决这一泛化困境，而不依赖专家示范。实际上，RaWMPC 利用世界模型预测多个候选动作的后果，并通过显式风险评估选择低风险动作。为了使世界模型具备预测危险驾驶行为结果的能力，我们设计了一种风险感知交互策略，系统性地让世界模型接触危险行为，使灾难性后果变得可预测从而可避免。此外，为了在测试时生成低风险候选动作，我们引入了一种自评估蒸馏方法，将风险规避能力从训练良好的世界模型蒸馏到生成式动作提议网络中，无需任何专家示范。大量实验表明，RaWMPC 在分布内和分布外场景中均优于最先进的方法，同时提供了卓越的决策可解释性。
引用
@article{arxiv.2602.23259,
title = {Risk-Aware World Model Predictive Control for Generalizable End-to-End Autonomous Driving},
author = {Jiangxin Sun and Feng Xue and Teng Long and Chang Liu and Jian-Fang Hu and Wei-Shi Zheng and Nicu Sebe},
journal= {arXiv preprint arXiv:2602.23259},
year = {2026}
}