WorldReel:具备几何一致性与运动建模的4D视频生成
计算机视觉与模式识别
2025-12-09 v1 人工智能
摘要
近期的视频生成器实现了惊人的照片 realism,但在3D一致性方面仍存在根本性不足。我们提出WorldReel,一种原生具备时空一致性的4D视频生成器。WorldReel联合生成RGB帧以及4D场景表示,包括点图、相机轨迹和稠密光流映射,实现对时间轴上几何与外观的连贯建模。我们的方法显式地构建4D表示,确保单一底层场景在不同视角和动态内容下持久存在,使得视频即使在大幅非刚性运动和显著相机移动下仍保持一致性。我们采用谨慎的方式将合成数据与真实数据相结合训练WorldReel:合成数据提供精确的4D监督(几何、运动和相机),而真实视频贡献视觉多样性和真实性。这种融合使WorldReel能够在野外场景中泛化,同时保持强大的几何保真度。广泛的实验表明,WorldReel在具有动态场景和移动相机的一致视频生成方面达到了新的状态突破(SOTA),在几何一致性、运动连贯性方面取得显著提升,并显著降低了视角-时间 artifact。我们认为,WorldReel使视频生成更接近4D一致的世界建模,使得智能体能够通过单一稳定的时空表征来渲染、交互并推理场景。
引用
@article{arxiv.2512.07821,
title = {WorldReel: 4D Video Generation with Consistent Geometry and Motion Modeling},
author = {Shaoheng Fang and Hanwen Jiang and Yunpeng Bai and Niloy J. Mitra and Qixing Huang},
journal= {arXiv preprint arXiv:2512.07821},
year = {2025}
}