从特征一致性视角重访域泛化立体匹配网络
计算机视觉与模式识别
2022-03-22 v1
摘要
尽管近期立体匹配网络在充足训练数据下取得了令人印象深刻的性能，它们受域偏移影响且对未见域泛化能力差。我们认为，在匹配像素间保持特征一致性是提升立体匹配网络泛化能力的关键因素，这一点尚未被充分考虑。本文通过提出一种跨视角的简单逐像素对比学习来解决该问题。立体对比特征损失函数显式约束作为同一 3D 点观测的匹配像素对学习特征间的一致性。进一步引入立体选择性白化损失以更好地跨域保留立体特征一致性，其将立体特征与立体视角特定的风格信息解相关。与直觉相反，同一场景中两视角间特征一致性的泛化转化为立体匹配性能对未见域的泛化。我们的方法本质通用，可轻松嵌入现有立体网络且无需访问目标域样本。当在合成数据上训练并泛化至四个真实世界测试集时，我们的方法优于多个最先进网络。
引用
@article{arxiv.2203.10887,
title = {Revisiting Domain Generalized Stereo Matching Networks from a Feature Consistency Perspective},
author = {Jiawei Zhang and Xiang Wang and Xiao Bai and Chen Wang and Lei Huang and Yimin Chen and Lin Gu and Jun Zhou and Tatsuya Harada and Edwin R. Hancock},
journal= {arXiv preprint arXiv:2203.10887},
year = {2022}
}
备注
Accepted to CVPR2022