由少量未配准窄视场图像生成 360 度全景图

360$^\circ$ 全景图在计算机图形学中广泛用作环境光源。然而，捕获 360$^\circ$ $\times$ 180$^\circ$ 全景图存在挑战，因为需要专业且昂贵的设备以及额外的人力资源。先前研究开发了多种基于学习的生成方法，从单张窄视场（NFoV）图像合成全景图，但其在可变的输入模式、生成质量与可控性方面存在局限。为解决这些问题，我们提出一种称为 PanoDiff 的新流程，其利用从任意角度捕获的一张或多张未配准 NFoV 图像高效生成完整的 360$^\circ$ 全景图。我们的方法有两个主要组件以克服上述局限。首先，一个两阶段角度预测模块以处理不同数量的 NFoV 输入。其次，一种基于潜在扩散的全新全景图生成模型，以不完整全景图与文本提示作为控制信号，并利用若干几何增强方案以确保生成全景图中的几何特性。实验表明，PanoDiff 实现了最先进的（state-of-the-art）全景生成质量与高可控性，使其适用于内容编辑等应用。