基于 EPI 卷积网络的光场重建及其扩展应用

本文提出了一种新颖的基于卷积神经网络（CNN）的框架，用于从稀疏视角集重建光场。我们指出，该重建可高效建模为极平面图像（EPI）上的角度复原。直接在 EPI 上重建的主要问题涉及空间维度与角度维度间的信息不对称，其中角度维度中的细节部分因欠采样而受损。直接在角度维度上对光场进行上采样或超分辨率会导致重影效应。为抑制这些重影效应，我们提出了一种新颖的“模糊-复原-去模糊”框架。首先，应用“模糊”步骤，通过将每个 EPI 切片与所选模糊核卷积，提取光场在空间维度上的低频分量。然后，由 CNN 实现“复原”步骤，该网络经训练用于恢复 EPI 的角度细节。最后，我们使用非盲“去模糊”操作来恢复被 EPI 模糊抑制的空间高频分量。我们在多个数据集上评估了该方法，包括合成场景、真实世界场景以及具有挑战性的显微镜光场数据。我们证明了所提框架相较于最优算法具有高性能与鲁棒性。我们进一步展示了扩展应用，包括深度增强与非结构化输入的插值。更重要的是，通过结合所提框架与深度信息，提出了一种新颖的渲染方法以处理大视差。