PanoWorld-X：基于球面感知视频扩散的可探索全景世界生成
计算机视觉与模式识别
2025-09-30 v1
摘要
生成完整且可探索的360度视觉世界能够支持广泛的下游应用。尽管先前的工作推动了该领域的发展，但它们仍受限于有限的视场角（这阻碍了连续且整体场景的合成）或不足的相机可控性（这限制了用户或自主智能体的自由探索）。为了解决这一问题，我们提出了PanoWorld-X，一种具有多样化相机轨迹的高保真和可控全景视频生成新框架。具体而言，我们首先通过Unreal Engine在虚拟3D环境中模拟相机轨迹，构建了一个大规模的全景视频-探索路线对数据集。由于全景数据的球面几何特性与常规视频扩散的归纳先验不一致，我们随后引入了球面感知扩散Transformer架构，该架构将等距柱状投影特征重新投影到球面上，以在潜在空间中建模几何邻接关系，显著增强了视觉保真度和时空连续性。大量实验表明，我们的PanoWorld-X在运动范围、控制精度和视觉质量等各个方面均取得了优越的性能，凸显了其在实际应用中的潜力。
引用
@article{arxiv.2509.24997,
title = {PanoWorld-X: Generating Explorable Panoramic Worlds via Sphere-Aware Video Diffusion},
author = {Yuyang Yin and HaoXiang Guo and Fangfu Liu and Mengyu Wang and Hanwen Liang and Eric Li and Yikai Wang and Xiaojie Jin and Yao Zhao and Yunchao Wei},
journal= {arXiv preprint arXiv:2509.24997},
year = {2025}
}
备注
Project page: \url{https://yuyangyin.github.io/PanoWorld-X/}