自由视角合成

我们提出了一种基于围绕场景自由分布输入图像的新视角合成方法。我们的方法不依赖于输入视图的规则排列，可合成相机在场景中自由移动的图像，并适用于具有无约束几何布局的通用场景。我们通过SfM校准输入图像，并通过MVS建立粗略几何支架。该支架用于为场景的新视角创建代理深度图。基于此深度图，循环编码器-解码器网络处理来自邻近视图的重投影特征并合成新视角。我们的网络无需针对给定场景进行优化。在数据集上训练后，它可在先前未见的环境中工作，无需微调或逐场景优化。我们在具有挑战性的真实世界数据集（包括Tanks and Temples）上评估了所提方法，首次展示了成功的视角合成，并大幅优于先前及同期工作。