基于不确定性引导的数据增强的领域泛化立体匹配

在合成数据上训练的前沿立体匹配 (SM) 模型由于领域差异（如颜色、光照、对比度和纹理）而难以泛化到真实数据域。为解决这一挑战，我们利用数据增强来扩充训练领域，鼓励模型获取稳健的跨域特征表示，而非基于域的捷径。本文提出了一种不确定性引导的数据增强 (UgDA) 方法，认为 RGB 空间中的图像统计量（均值和标准差）携带了领域特征。因此，通过对这些统计量进行适当扰动，可以生成来自不可见领域的样本。此外，为模拟更多潜在领域，提出基于 batch 级别统计量的高斯分布来建模扰动方向和强度的不确定性。此外，我们进一步强制执行原始数据和增强数据之间的特征一致性，以鼓励模型学习结构感知、免于捷径的特征表示。我们的方法简单、与体系结构无关，可以集成到任何 SM 网络中。在几个具有挑战性的基准测试上进行了大量实验，证明了该方法显著提高了现有 SM 网络的泛化性能。