面向挑战性轨迹的物理一致性驾驶视频世界模型
计算机视觉与模式识别
2026-04-02 v2
摘要
视频生成模型已显示出作为自动驾驶仿真世界模型的强大潜力。然而，现有方法主要在真实驾驶数据集上训练，这些数据集大多包含自然且安全的驾驶场景，导致当前模型在以挑战性或反事实轨迹为条件时常常失败——例如仿真器或规划系统生成的次优轨迹，会产生严重的物理不一致性和伪影。为解决这一局限性，我们提出了 PhyGenesis，一种能够生成高视觉保真度和强物理一致性驾驶视频的世界模型。该框架包含两个关键组件：(1) 物理条件生成器，将可能无效的轨迹输入转换为物理上可行的条件；(2) 物理增强视频生成器，在这些条件下产生高保真度的多视角驾驶视频。为有效训练这些组件，我们构建了一个大规模、物理丰富的异构数据集。具体而言，除了真实驾驶视频之外，我们使用 CARLA 仿真器生成多样化的挑战性驾驶场景，从中派生监督信号，引导模型在极端条件下学习物理基础动力学。这种挑战性轨迹学习策略实现了轨迹纠正，促进了物理一致的视频生成。广泛的实验表明，PhyGenesis 在挑战性轨迹上 consistently 优于最新方法。我们的项目页面地址为：https://wm-research.github.io/PhyGenesis/。
引用
@article{arxiv.2603.24506,
title = {Toward Physically Consistent Driving Video World Models under Challenging Trajectories},
author = {Jiawei Zhou and Zhenxin Zhu and Lingyi Du and Linye Lyu and Lijun Zhou and Zhanqian Wu and Hongcheng Luo and Zhuotao Tian and Bing Wang and Guang Chen and Hangjun Ye and Haiyang Sun and Yu Li},
journal= {arXiv preprint arXiv:2603.24506},
year = {2026}
}