Pantheon360：通过 3D 感知的 360° 视频扩散驾驭数字孪生生成
计算机视觉与模式识别
2026-05-26 v1
摘要
从视频生成完整的数字孪生体需要精确的相机控制、全局场景覆盖以及严格的时空一致性约束，而这些约束在现有视角视频生成器中难以实现，因为其视野（FoV）有限。狭小的 FoV 迫使需要长时间或多视角轨迹，从而放大跨视角不一致性和时间漂移。我们认为 360° 视频生成提供了自然的解决方案：全景覆盖简化了轨迹设计，并为维持一致性提供了强大的全局上下文。我们引入 Pantheon360：通过 3D 感知的 360° 视频扩散驾驭数字孪生生成，一个可控的 360° 视频生成框架，可从稀疏 360° 输入生成高保真视频。核心思想是显式的 3D 缓存，从输入中重建，作为几何支架用于任何用户定义的相机路径。这使得扩散模型能够专注于照片级纹理细化，而 3D 缓存则强制执行全局几何一致性。实验表明，Pantheon360 在视觉质量和无法比拟的几何连贯性方面均取得优异成绩，使其能够可靠且灵活地生成 360° 场景，以供下游仿真和数字孪生应用使用。
引用
@article{arxiv.2605.25449,
title = {Pantheon360: Taming Digital Twin Generation via 3D-Aware 360{\deg} Video Diffusion},
author = {Ting-Hsuan Chen and Ying-Huan Chen and Tao Tu and Jie-Ying Lee and Cho-Ying Wu and Fangzhou Lin and Hengyuan Zhang and David Paz and Xinyu Huang and Yuliang Guo and Yu-Lun Liu and Yue Wang and Liu Ren},
journal= {arXiv preprint arXiv:2605.25449},
year = {2026}
}
备注
Accepted to CVPR 2026. Project page: https://koi953215.github.io/pantheon360_page/