WorldStereo：通过 3D 几何记忆桥接摄像机引导的视频生成与场景重建
计算机视觉与模式识别
2026-03-03 v1
摘要
近期基础视频扩散模型 (VDM) 的进展取得显著进展。尽管生成视频在视觉质量方面表现突出，但从这些输出中重建一致的 3D 场景仍具挑战，原因在于摄像机可控性有限以及在不同摄像机轨迹下生成内容不一致。本文提出 WorldStereo，一种新型框架，通过两个专门的几何记忆模块来桥接摄像机引导的视频生成与 3D 重建。形式上，全局几何记忆模块实现精确的摄像机控制，同时通过逐步更新的点云注入粗糙结构先验。此外，空间立体记忆模块通过 3D 对应关系约束模型的注意力感受野，以聚焦于记忆库中的细粒度细节。这些组件使 WorldStereo 能够在精确的摄像机控制下生成多视图一致的视频，从而促进高质量的 3D 重建。 Furthermore, the flexible control branch-based WorldStereo 显示出惊人的效率，得益于无需联合训练的分布匹配蒸馏 VDM 主干。广泛的实验在摄像机引导的视频生成和 3D 重建基准测试中均证明了该方法的有效性。值得注意的是，我们表明 WorldStereo 作为一个强大的世界模型，能够通过高保真 3D 结果处理多样化的场景生成任务（无论起始是视角图还是全景图）。模型将在发布。
引用
@article{arxiv.2603.02049,
title = {WorldStereo: Bridging Camera-Guided Video Generation and Scene Reconstruction via 3D Geometric Memories},
author = {Yisu Zhang and Chenjie Cao and Tengfei Wang and Xuhui Zuo and Junta Wu and Jianke Zhu and Chunchao Guo},
journal= {arXiv preprint arXiv:2603.02049},
year = {2026}
}