SRH-Net：用于立体匹配的堆叠循环沙漏网络
计算机视觉与模式识别
2021-05-26 v1 机器人学
摘要
代价聚合策略在基于学习的立体匹配任务中起着关键作用，其中3D卷积滤波器取得了当前最优性能但需要大量计算资源，而2D操作所需GPU内存较少但对域偏移敏感。本文中，我们利用循环代价聚合策略，将3D卷积滤波器使用的4D立方体代价体沿视差方向解耦为顺序代价图，而非一次性处理。此外，提出了一种新颖的循环模块——堆叠循环沙漏（Stacked Recurrent Hourglass, SRH）来处理每个代价图。我们的沙漏网络基于门控循环单元（GRUs）与下/上采样层构建，为GRUs提供了更大的感受野。随后将两个沙漏网络堆叠在一起，并通过跳跃连接处理多尺度信息，以增强流水线在无纹理区域的性能。所提架构在端到端流水线中实现，并在公开数据集上评估，与采用堆叠沙漏3D CNN的PSMNet相比，在精度不退化的情况下将GPU内存消耗降低多达56.1%。进而，我们在若干高分辨率图像对上进一步展示了所提方法的可扩展性，而先前学到的方法常因内存限制而失败。代码发布于\url{https://github.com/hongzhidu/SRHNet}。
引用
@article{arxiv.2105.11587,
title = {SRH-Net: Stacked Recurrent Hourglass Network for Stereo Matching},
author = {Hongzhi Du and Yanyan Li and Yanbiao Sun and Jigui Zhu and Federico Tombari},
journal= {arXiv preprint arXiv:2105.11587},
year = {2021}
}