OPAL：面向无监督光场视差估计的遮挡模式感知损失
计算机视觉与模式识别
2022-04-01 v3
摘要
光场视差估计是计算机视觉中的一项基础任务，具有多种应用。尽管基于监督学习的方法已比传统的基于优化的方法取得了更高的准确率和效率，但训练对真实视差的依赖限制了整体泛化性能，更不用说在难以获取真实视差的真实场景中了。在本文中，我们认为无监督方法可以达到相当的准确率，但更重要的是，比监督方法具有更高的泛化能力和效率。具体而言，我们提出了名为 OPAL 的遮挡模式感知损失（Occlusion Pattern Aware Loss），它成功提取并编码了光场中固有的通用遮挡模式用于损失计算。OPAL 实现了：i) 通过有效处理遮挡且不使用任何真实信息用于训练，实现准确而鲁棒的估计；ii) 通过显著减少准确推理所需的网络参数，实现更高效能。此外，提出了一种基于 transformer 的网络和一个细化模块，以获得更精确的结果。大量实验表明，我们的方法不仅相比 SOTA 无监督方法显著提升了准确率，而且相比监督方法具有强大的泛化能力，即便对真实世界数据也是如此。我们的代码将公开可用。
引用
@article{arxiv.2203.02231,
title = {OPAL: Occlusion Pattern Aware Loss for Unsupervised Light Field Disparity Estimation},
author = {Peng Li and Jiayin Zhao and Jingyao Wu and Chao Deng and Haoqian Wang and Tao Yu},
journal= {arXiv preprint arXiv:2203.02231},
year = {2022}
}