IGEV++：用于立体匹配的迭代多范围几何编码体
摘要
立体匹配是许多计算机视觉和机器人系统中的核心组成部分。尽管在过去十年中取得了显著进展，但处理不适定区域和大视差中的匹配模糊性仍然是一个开放的挑战。在本文中，我们提出了一种新的深度网络架构，称为 IGEV++，用于立体匹配。所提出的 IGEV++ 构建了多范围几何编码体（MGEV），该体编码了用于病态区域和大视差的粗粒度几何信息，同时保留了用于细节和小视差的细粒度几何信息。为了构建 MGEV，我们引入了一个自适应块匹配模块，该模块能高效且有效地计算大视差范围和/或病态区域的匹配代价。我们进一步提出了一个选择性几何特征融合模块，以自适应地融合 MGEV 中的多范围和多粒度几何特征。然后，我们将融合后的几何特征输入到 ConvGRU 中，以迭代更新视差图。MGEV 允许高效地处理大视差和病态区域，如遮挡和无纹理区域，并在迭代过程中实现快速收敛。我们的 IGEV++ 在 Scene Flow 测试集的所有视差范围（最高达 768px）上均取得了最佳性能。我们的 IGEV++ 还在 Middlebury、ETH3D、KITTI 2012 和 2015 基准测试中达到了最先进的精度。具体来说，在大视差基准测试 Middlebury 上，IGEV++ 实现了 3.23% 的 2 像素异常率（Bad 2.0），与 RAFT-Stereo 和 GMStereo 相比，误差分别减少了 31.9% 和 54.8%。我们还提出了 IGEV++ 的实时版本，该版本在 KITTI 基准测试的所有已发表实时方法中取得了最佳性能。代码可在 https://github.com/gangweix/IGEV 和 https://github.com/gangweix/IGEV-plusplus 公开获取。
引用
@article{arxiv.2409.00638,
title = {IGEV++: Iterative Multi-range Geometry Encoding Volumes for Stereo Matching},
author = {Gangwei Xu and Xianqi Wang and Zhaoxing Zhang and Junda Cheng and Chunyuan Liao and Xin Yang},
journal= {arXiv preprint arXiv:2409.00638},
year = {2025}
}
备注
Accepted by TPAMI 2025