FAR-Drive：面向封闭环自动驾驶的帧级自回归视频生成
计算机视觉与模式识别
2026-03-17 v1
摘要
尽管自动驾驶领域取得了快速进展，但可靠的训练和评估仍受限于缺乏可扩展且具互动性的仿真环境。近期的生成式视频模型取得了显著的视觉保真度，但大多数 operate in open-loop 环境，无法支持代理动作与环境演化之间的细粒度帧级交互。构建基于学习的封闭环自动驾驶仿真器面临三个主要挑战：维持长期时序和跨视角一致性、缓解自条件下的自回归退化，以及满足低延迟推理要求。为此，我们提出了 FAR-Drive，一个用于自动驾驶的帧级自回归视频生成框架。我们引入了一个具备细粒度结构控制能力的多视角扩散变换器，实现几何一致的多摄像机生成。为解决长期一致性和迭代退化问题，我们设计了两阶段训练策略，包括自适应参考视野条件和混合强制自回归训练，逐步提升一致性和鲁棒性。为满足低延迟交互需求，我们进一步集成了系统级效率优化以加速推理。在 nuScenes 数据集上的实验表明，我们的方法在现有封闭环自动驾驶仿真方法中实现了最先进的性能，同时在单 GPU 上保持亚秒级延迟。
引用
@article{arxiv.2603.14938,
title = {FAR-Drive: Frame-AutoRegressive Video Generation in Closed-Loop Autonomous Driving},
author = {Yaoru Li and Federico Landi and Marco Godi and Xin Jin and Ruiju Fu and Yufei Ma and Muyang Sun and Heyu Si and Qi Guo},
journal= {arXiv preprint arXiv:2603.14938},
year = {2026}
}