ExScene：基于高斯溅写从单张图像重建全视角3D场景
计算机视觉与模式识别
2025-04-01 v1
摘要
越来越多的增强现实和虚拟现实应用凸显了从简单单视图图像中构建沉浸式3D场景的重要性。然而，由于单视图输入只提供局部分界信息，现有方法常受限于从单视图输入重建低一致性3D场景，视野狭窄。这使得它们不够泛化，难以重建沉浸式场景。为此，我们提出ExScene，一个两阶段管线，用于从任何给定的单视图图像重建沉浸式3D场景。ExScene设计了一种新型多模态扩散模型，以生成高保真且全局一致的全景图像。随后，我们开发了全景深度估计方法，从全景图像中计算几何信息，并将几何信息与高保真全景图像结合，用于训练初始3D高斯溅写（3DGS）模型。随后，我们引入一种基于2D稳定视频扩散先验的GS细化技术。我们将相机轨迹一致性和颜色-几何先验纳入扩散的去噪过程中，以提高图像序列在颜色和空间上的一致性。这些细化序列随后用于微调初始3DGS模型，从而获得更好的重建质量。实验结果表明，ExScene仅使用单视图输入即可实现一致且沉浸式的场景重建，显著优于当前最先进的基线方法。
引用
@article{arxiv.2503.23881,
title = {ExScene: Free-View 3D Scene Reconstruction with Gaussian Splatting from a Single Image},
author = {Tianyi Gong and Boyan Li and Yifei Zhong and Fangxin Wang},
journal= {arXiv preprint arXiv:2503.23881},
year = {2025}
}
备注
ICME 2025