基于遮挡预测多视角特征匹配的无监督光场深度估计
计算机视觉与模式识别
2023-08-21 v2
摘要
从光场(LF)图像进行深度估计是众多应用的基础步骤。近来,基于学习的方法相较传统方法取得了更高精度与效率。然而,获取充足深度标签用于监督训练成本高昂。本文提出一种从无标签光场图像估计深度的无监督框架。首先,我们设计具有由粗到细结构的视差估计网络(DispNet),从不同视角组合预测视差图,其显式执行多视角特征匹配以有效学习对应关系。由于遮挡可能破坏光度一致性,我们引入遮挡预测网络(OccNet)预测遮挡图,将其作为光度损失的元素级权重以解决遮挡问题并辅助视差学习。利用多输入组合估计的视差图,我们进而提出基于估计误差并有效处理遮挡的视差融合策略,以获得更高精度的最终视差图。实验结果表明,本方法在稠密与稀疏光场图像上均取得优越性能,且在真实世界光场图像上相较其他方法具更好鲁棒性与泛化性。
引用
@article{arxiv.2301.08433,
title = {Unsupervised Light Field Depth Estimation via Multi-view Feature Matching with Occlusion Prediction},
author = {Shansi Zhang and Nan Meng and Edmund Y. Lam},
journal= {arXiv preprint arXiv:2301.08433},
year = {2023}
}