Selective-Stereo：立体匹配中的自适应频率信息选择
计算机视觉与模式识别
2024-03-04 v1
摘要
基于迭代优化的立体匹配方法（如 RAFT-Stereo 和 IGEV-Stereo）已成为该领域的基石。然而，由于感受野固定，这些方法难以同时捕捉边缘处的高频信息和平滑区域的低频信息，导致细节丢失、边缘模糊以及在无纹理区域产生错误匹配。本文提出了一种用于立体匹配的新型迭代更新算子——选择性循环单元（Selective Recurrent Unit, SRU）。SRU 模块能够自适应地融合边缘和平滑区域在多频率下的隐藏视差信息。为实现自适应融合，我们引入了一种新的上下文空间注意力（Contextual Spatial Attention, CSA）模块来生成作为融合权重的注意力图。SRU 使网络能够聚合多频率下的隐藏视差信息，从而减轻迭代过程中关键隐藏视差信息丢失的风险。为验证 SRU 的通用性，我们将其应用于代表性的迭代立体匹配方法，统称为 Selective-Stereo。我们的 Selective-Stereo 在所有已发表方法中，于 KITTI 2012、KITTI 2015、ETH3D 和 Middlebury 排行榜上均位列第一。代码地址：https://github.com/Windsrain/Selective-Stereo。
引用
@article{arxiv.2403.00486,
title = {Selective-Stereo: Adaptive Frequency Information Selection for Stereo Matching},
author = {Xianqi Wang and Gangwei Xu and Hao Jia and Xin Yang},
journal= {arXiv preprint arXiv:2403.00486},
year = {2024}
}
备注
Accepted to CVPR 2024