基于遮挡感知的无监督四维光场深度学习方法

深度估计是四维光场处理与分析中的基本问题。尽管近期基于监督学习的光场深度估计方法已显著优于传统的基于优化的方法在准确率和效率上，这些方法依赖于在具有真实深度图的的光场数据上训练，而真实深度图难以获取甚至对真实世界光场数据不可用。此外，由于真实世界与合成数据之间不可避免的差距（或域差异），当将用合成数据训练的模型泛化到真实世界数据时，它们可能遭受严重的性能下降。相比之下，我们提出了一种基于无监督学习的方法，其在训练期间不需要真实深度作为监督。具体而言，基于光场数据独特几何结构的基础知识，我们提出一种遮挡感知策略以提高遮挡区域的准确性，其中我们探索光场视图子集间的角度相干性以估计初始深度图，并利用约束无监督损失学习其对应可靠性以用于最终深度预测。此外，我们采用带加权平滑损失的多尺度网络来处理无纹理区域。在合成数据上的实验结果表明，我们的方法能显著缩小先前无监督方法与监督方法之间的性能差距，并生成与传统方法精度相当且计算成本明显降低的深度图。而且，在真实世界数据集上的实验表明，我们的方法能避免监督方法中出现的域偏移问题，展示了我们方法的巨大潜力。