VerseCrafter：具备 4D 几何控制的动态真实视频世界模型
计算机视觉与模式识别
2026-03-31 v2
摘要
视频世界模型旨在模拟动态的真实世界环境，然而现有方法难以对相机和多物体运动提供统一且精确的控制，因为视频本质上捕捉的是投影 2D 图像平面中的动态。为了弥合这一差距，我们引入了 VerseCrafter，这是一种几何驱动的视频世界模型，可从统一的 4D 几何世界状态生成动态、逼真的视频。我们的方法以新颖的 4D 几何控制表示为中心，该表示将世界状态编码为静态背景点云和每个物体的 3D 高斯轨迹。这种表示捕捉了每个物体随时间变化的运动路径和概率 3D 占用情况，为刚性的边界框和参数模型提供了一种灵活的、与类别无关的替代方案。我们将 4D 几何控制渲染为预训练视频扩散模型的 4D 控制图，从而实现忠实遵循指定动态的高保真、视角一致的视频生成。为了实现大规模训练，我们开发了一个自动化数据引擎，并构建了 VerseControl4D，这是一个包含 35K 训练样本的真实世界数据集，附带自动生成的提示和渲染的 4D 控制图。大量实验表明，与先前的方法相比，VerseCrafter 实现了更优的视觉质量，并对相机和多物体运动提供了更精确的控制。
引用
@article{arxiv.2601.05138,
title = {VerseCrafter: Dynamic Realistic Video World Model with 4D Geometric Control},
author = {Sixiao Zheng and Minghao Yin and Wenbo Hu and Xiaoyu Li and Ying Shan and Yanwei Fu},
journal= {arXiv preprint arXiv:2601.05138},
year = {2026}
}
备注
Project Page: https://sixiaozheng.github.io/VerseCrafter_page/, Accepted by CVPR 2026