通过消除捷径学习实现立体匹配网络的域鲁棒性
计算机视觉与模式识别
2021-06-17 v1 机器学习
摘要
基于学习的立体匹配与深度估计网络目前在公开基准上表现出令人印象深刻的优异结果。然而，最先进的网络常常无法从合成图像泛化到更具挑战性的真实数据域。本文试图揭示实现域鲁棒性的隐藏秘密，特别是通过分析合成图像学习对真实数据性能的影响，发现立体匹配网络泛化成功的重要要素。我们提供的证据表明，立体匹配网络在合成域中的特征学习深受合成数据中呈现的两种“捷径”影响：(1) 合成立体图像中匹配像素间相同的局部统计特征（RGB 颜色特征）；(2) 游戏引擎中模拟的 3D 物体合成纹理缺乏真实感。我们将展示，通过消除此类捷径，我们能在最先进的立体匹配框架中实现域鲁棒性，并在多个真实数据集上产生卓越性能，尽管网络仅是在合成数据上训练的。我们的实验结果指出，从合成数据中消除捷径是实现合成与真实数据域之间域不变泛化的关键。
引用
@article{arxiv.2106.08486,
title = {Achieving Domain Robustness in Stereo Matching Networks by Removing Shortcut Learning},
author = {WeiQin Chuah and Ruwan Tennakoon and Alireza Bab-Hadiashar and David Suter},
journal= {arXiv preprint arXiv:2106.08486},
year = {2021}
}
备注
11 pages, 7 figures