基于孔径视差与扭曲置信图的光场视图合成

本文提出一种基于学习的方法，在给定稀疏图像集的情况下从任意相机位置合成视图。这种新视图合成的一个关键挑战来自重建过程，当不同输入图像的视图由于光路遮挡而不一致时会出现该问题。我们通过联合建模对极几何性质与遮挡来设计卷积神经网络以克服此问题。我们首先定义并计算孔径视差图，其近似视差并度量两视图间的像素级偏移。尽管这与自由空间绘制相关且在物体边界附近可能失效，我们进一步开发了扭曲置信图以处理这些困难区域中的像素遮挡。所提方法在多种真实世界与合成光场场景上进行了评估，并展现出优于若干 SOTA 技术的性能。