DriveDreamer：面向真实世界驱动的世界模型用于自动驾驶

世界模型，尤其在自动驾驶领域，因其对驾驶环境的理解能力而正成为趋势并引发广泛关注。已建立的世界模型在生成高质量驾驶视频以及用于安全操控的驾驶策略方面具有巨大潜力。然而，相关研究的严重局限在于其主要关注游戏环境或模拟设定，因而缺乏真实世界驾驶场景的表征。为此，我们引入了 DriveDreamer，这是一种完全源自真实世界驾驶场景的开创性世界模型。鉴于在复杂驾驶场景中建模世界涉及极其庞大的搜索空间，我们提出利用强大的扩散模型来构建复杂环境的全面表征。此外，我们引入了一个两阶段训练流程。在初始阶段，DriveDreamer 深入理解结构化交通约束；随后的阶段则赋予其预测未来状态的能力。所提出的 DriveDreamer 是首个基于真实世界驾驶场景建立的世界模型。我们在具有挑战性的 nuScenes 基准上实例化了 DriveDreamer，大量实验验证 DriveDreamer 能够实现精确、可控的视频生成，并忠实捕捉真实世界交通场景的结构化约束。此外，DriveDreamer 能够生成真实合理的驾驶策略，为交互与实际应用开辟了途径。