用于光场超分辨率的选择性组合嵌入与一致性正则化深度学习框架

手持设备获取的光场（LF）图像通常空间分辨率较低，因为有限的探测器分辨率必须在角度维度上共享。因此，LF空间超分辨率（SR）成为LF相机处理流程中不可或缺的一部分。LF图像的高维特性和复杂几何结构使得该问题比传统单图像SR更具挑战性。现有方法的性能仍然有限，因为它们未能充分挖掘LF子孔径图像（SAIs）之间的一致性，且在准确保留场景视差结构方面存在不足。为应对这一挑战，我们提出了一种新颖的基于学习的LF空间SR框架。具体而言，首先通过选择性组合几何嵌入探索SAIs间的互补信息，对每个SAI进行粗略的逐个体超分辨率重建。为实现互补信息的高效且有效选择，我们分层提出了两个新颖子模块：块选择器基于离线视差估计提供检索相似图像块的可选项以处理大视差关联；SAI选择器自适应且灵活地选择信息量最大的SAIs以提升嵌入效率。为保留重建SAIs间的视差结构，我们随后附加一个在结构感知损失函数上训练的一致性正则化网络，以在粗略估计上细化视差关系。此外，我们将所提方法扩展到不规则LF数据。据我们所知，这是首个针对不规则LF数据的基于学习的SR方法。在合成与真实世界LF数据集上的实验结果表明，我们的方法相较SOTA方法具有显著优势。