利用基于不确定性的学习困难改进光流与立体深度估计
计算机视觉与模式识别
2025-06-03 v1
摘要
光流和立体深度模型的传统训练通常对所有像素采用统一的损失函数。然而，这种“一刀切”的方法往往忽略了单个像素和上下文区域之间学习难度的显著差异。本文研究了捕捉这些空间变化学习难度的基于不确定性的置信度图，并引入了针对性的解决方案。我们首先提出了难度平衡（Difficulty Balancing, DB）损失，它利用基于误差的置信度度量来鼓励网络更加关注具有挑战性的像素和区域。此外，我们发现一些困难的像素和区域受到遮挡的影响，这是由于在缺乏真实对应关系的情况下，匹配问题本身具有不适定性。为了解决这个问题，我们提出了遮挡避免（Occlusion Avoiding, OA）损失，旨在引导网络进入基于循环一致性的置信区域，在这些区域中特征匹配更加可靠。通过结合 DB 和 OA 损失，我们在训练期间有效地管理了各种类型的具有挑战性的像素和区域。在光流和立体深度任务上的实验一致表明，应用我们提出的 DB 和 OA 损失组合可显著提升性能。
引用
@article{arxiv.2506.00324,
title = {Improving Optical Flow and Stereo Depth Estimation by Leveraging Uncertainty-Based Learning Difficulties},
author = {Jisoo Jeong and Hong Cai and Jamie Menjay Lin and Fatih Porikli},
journal= {arXiv preprint arXiv:2506.00324},
year = {2025}
}
备注
CVPRW2025