ESMStereo：用于实时高精度立体匹配的增强型 ShuffleMixer 视差上采样
计算机视觉与模式识别
2025-06-27 v1
摘要
立体匹配已成为现代自主系统日益重要的组成部分。开发在高精度的同时具备实时性能的基于深度学习的立体匹配模型，仍然是计算机视觉领域的一项重大挑战。在基于代价卷的立体匹配领域，精确的视差估计严重依赖于大规模代价卷。然而，此类大规模代价卷存储了大量冗余信息，且需要计算密集型的聚合单元进行处理和回归，使得实时性能无法实现。相反，小规模代价卷结合轻量级聚合单元为实现实时性能提供了有希望的途径，但缺乏足够的信息来确保高精度的视差估计。为应对这一挑战，我们提出了增强型 ShuffleMixer（ESM），以缓解与小规模代价卷相关的信息丢失。ESM 通过将主要特征整合到视差上采样单元中来恢复关键细节。它从初始视差估计中快速提取特征，并将其与图像特征融合。这些特征通过混洗和层分裂进行混合，随后通过紧凑的特征引导沙漏网络进行细化，以恢复更详细的场景几何信息。ESM 以较低的计算成本关注具有大感受野的局部上下文连通性，从而实现实时高精度视差图的重建。紧凑版 ESMStereo 在高端 GPU 上达到 116 FPS 的推理速度，在 AGX Orin 上达到 91 FPS。
引用
@article{arxiv.2506.21091,
title = {ESMStereo: Enhanced ShuffleMixer Disparity Upsampling for Real-Time and Accurate Stereo Matching},
author = {Mahmoud Tahmasebi and Saif Huq and Kevin Meehan and Marion McAfee},
journal= {arXiv preprint arXiv:2506.21091},
year = {2025}
}
备注
Under peer review