中文

ITSA:立体匹配网络中基于信息论的自动捷径规避与域泛化方法

计算机视觉与模式识别 2022-03-07 v2 机器学习

摘要

仅在合成数据上训练的最先进立体匹配网络常难以泛化到更具挑战性的真实数据域。本文试图揭示阻碍网络跨域泛化的一个重要因素:从捷径学习(shortcut learning)的视角。我们证明立体匹配网络中特征表示的学习深受合成数据伪影(捷径属性)影响。为缓解此问题,我们提出信息论捷径规避(Information-Theoretic Shortcut Avoidance, ITSA)方法,自动限制与捷径相关的信息被编码进特征表示。因此,我们所提方法通过最小化潜在特征对输入变化的敏感性,学习到鲁棒且捷径不变的特征。为避免直接输入敏感性优化带来的高昂计算成本,我们提出了一种有效且可行的算法以实现鲁棒性。我们表明,使用该方法,纯粹在合成数据上训练的最先进立体匹配网络能有效泛化到具挑战性且未见过的真实数据场景。重要的是,所提方法增强了合成训练网络的鲁棒性,使其在具有挑战性的域外立体数据集上优于其(在真实数据上)微调的对应网络。

关键词

引用

@article{arxiv.2201.02263,
  title  = {ITSA: An Information-Theoretic Approach to Automatic Shortcut Avoidance and Domain Generalization in Stereo Matching Networks},
  author = {WeiQin Chuah and Ruwan Tennakoon and Reza Hoseinnezhad and Alireza Bab-Hadiashar and David Suter},
  journal= {arXiv preprint arXiv:2201.02263},
  year   = {2022}
}

备注

11 pages, 4 figures. Accepted by CVPR2022