Orbis：克服自动驾驶世界模型长时程预测挑战
计算机视觉与模式识别
2025-12-12 v2 人工智能
机器学习
摘要
现有的自动驾驶世界模型在长时程生成和对挑战性情景的泛化能力方面存在困难。本文开发了一种仅采用简单设计选择、无需额外监督或传感器（如地图、深度信息或多摄像头）的模型。我们表明，该模型虽仅使用 4690 万参数且仅在 280 小时视频数据上训练，便实现了最先进的性能，尤其在转向机动和城市交通等困难情景中表现突出。我们测试了离散 token 模型是否可能在连续模型（基于流匹配）方面具有优势。为此，我们构建了兼容两种方法的混合 tokenizer，允许进行并行比较。我们的研究结果支持采用连续自回归模型，其对单个设计选择更不脆弱，性能也优于基于离散 token 的模型。代码、模型及定性结果已公开于 https://lmb-freiburg.github.io/orbis.github.io/。
引用
@article{arxiv.2507.13162,
title = {Orbis: Overcoming Challenges of Long-Horizon Prediction in Driving World Models},
author = {Arian Mousakhan and Sudhanshu Mittal and Silvio Galesso and Karim Farid and Thomas Brox},
journal= {arXiv preprint arXiv:2507.13162},
year = {2025}
}
备注
Project page: https://lmb-freiburg.github.io/orbis.github.io/