基于多视角基础模型的统一全景几何估计
计算机视觉与模式识别
2026-05-28 v2 人工智能
摘要
从透视图像进行几何估计已取得显著进展，已成熟至能够从多视图图像乃至单视图重建 3D 场景结构的即插即用基础模型。自然的延伸是从全景图像进行 3D 重建，既有从单个全景图像中恢复完整 360 度场景的激动人心前景。在本工作中，我们引入 PaGeR (Panoramic Geometry Reconstruction)，一个将强大的 3D 基础模型从透视图像领域提升至全景领域的框架。我们的策略是从为 3D 重建设计的预训练变换器开始，将其转化为一个统一的高性能模型，从而从透视和全景图像中单次前向传播预测与尺度无关深度、计量深度、法线和天空掩码。通过保持架构变化最小并在训练时混合透视和全景图像，PaGeR 保留了底层基础模型丰富的 3D 先验，同时学习从单个全景中估计几何一致的 360 度场景。我们在室内外环境中广泛测试该方法，发现其在各种场景中均能实现最先进的性能和优异的零样本性能。代码、数据和模型均可用 。
引用
@article{arxiv.2605.26368,
title = {Unified Panoramic Geometry Estimation via Multi-View Foundation Models},
author = {Vukasin Bozic and Isidora Slavkovic and Dominik Narnhofer and Nando Metzger and Denis Rozumny and Konrad Schindler and Nikolai Kalischek},
journal= {arXiv preprint arXiv:2605.26368},
year = {2026}
}