用于无监督立体对应学习的视差注意力
计算机视觉与模式识别
2021-10-13 v2
摘要
立体图像对将 3D 场景线索编码为左右图像之间的立体对应。为了利用立体图像中的 3D 线索，近期基于 CNN 的方法通常使用代价体技术来捕捉大视差下的立体对应。然而，由于不同基线、焦距和分辨率的立体相机的视差可能显著变化，代价体技术中使用的固定最大视差阻碍了它们处理具有大视差变化的不同立体图像对。本文中，我们提出一种通用的视差注意力机制（PAM）来捕捉不受视差变化影响的立体对应。我们的 PAM 将极线约束与注意力机制相结合，沿极线计算特征相似度以捕捉立体对应。基于我们的 PAM，我们提出了用于立体匹配和立体图像超分辨率任务的视差注意力立体匹配网络（PASMnet）和视差注意力立体图像超分辨率网络（PASSRnet）。此外，我们引入了一个名为 Flickr1024 的新的大规模数据集用于立体图像超分辨率。实验结果表明我们的 PAM 是通用的，并且可以在大视差变化下以无监督方式有效学习立体对应。对比结果表明我们的 PASMnet 和 PASSRnet 达到了最先进的性能。
引用
@article{arxiv.2009.08250,
title = {Parallax Attention for Unsupervised Stereo Correspondence Learning},
author = {Longguang Wang and Yulan Guo and Yingqian Wang and Zhengfa Liang and Zaiping Lin and Jungang Yang and Wei An},
journal= {arXiv preprint arXiv:2009.08250},
year = {2021}
}
备注
Accepted by IEEE TPAMI 2020. arXiv admin note: text overlap with arXiv:1903.05784