See360：新颖的全景视图插值

我们提出了 See360，这是一个利用潜在空间视点估计进行 360 度全景视图插值的通用且高效的框架。大多数现有的视图渲染方法仅关注室内或合成 3D 环境，并渲染小物体的新视图。相比之下，我们建议将相机中心的视图合成视为一种 2D 仿射变换，无需使用点云或深度图，从而实现有效的 360 度全景场景探索。给定一对参考图像，See360 模型通过学习提出的新颖多尺度仿射变换器（MSAT）来渲染新视图，实现了由粗到细的特征渲染。我们还提出了一种条件潜在空间自编码器（C-LAE），以实现任意角度的视图插值。为了展示我们方法的通用性，我们引入了四个训练数据集，即 UrbanCity360、Archinterior360、HungHom360 和 Lab360，这些数据集收集自室内和室外环境，用于真实和合成渲染。实验结果表明，所提出的方法具有足够的通用性，可实现所有四个数据集的任意视图实时渲染。此外，我们的 See360 模型可应用于野外视图合成：仅需短暂的额外训练时间（约 10 分钟），即可渲染未知的真实世界场景。See360 的卓越性能为相机中心视图渲染和 360 度全景视图插值开辟了一个充满希望的方向。