学习用于光场深度估计的子像素视差分布
计算机视觉与模式识别
2023-11-22 v3 图像与视频处理
摘要
光场（LF）深度估计在许多基于光场的应用中起着关键作用。现有的光场深度估计方法将深度估计视为回归问题，采用逐像素 L1 损失来监督训练过程。然而，视差图仅是视差分布的一个子空间投影（即期望），而视差分布对于模型学习至关重要。本文提出一种简单而有效的方法，通过充分利用深度网络的能力来学习子像素视差分布，尤其适用于窄基线的光场。我们在子像素层级构建代价体以生成更精细的视差分布，并设计了一种不确定性感知的 focal loss 来监督预测的视差分布逼近真实值。大量实验结果证明了我们方法的有效性。在 HCI 4D LF Benchmark 上，我们的方法在所有四项精度指标（即 BadPix 0.01、BadPix 0.03、BadPix 0.07 和 MSE 100）上均显著优于近期最先进的光场深度算法。所提方法的代码与模型可在 \url{https://github.com/chaowentao/SubFocal} 获取。
引用
@article{arxiv.2208.09688,
title = {Learning Sub-Pixel Disparity Distribution for Light Field Depth Estimation},
author = {Wentao Chao and Xuechun Wang and Yingqian Wang and Guanghui Wang and Fuqing Duan},
journal= {arXiv preprint arXiv:2208.09688},
year = {2023}
}
备注
Accepted by IEEE Transactions on Computational Imaging