基于GhostNet的Ghost-Stereo立体匹配网络的代数体积增强与聚合
计算机视觉与模式识别
2024-05-24 v1
摘要
基于立体匹配的深度估计是经典且流行的计算机视觉问题，具有广泛的现实应用。当前的立体匹配方法通常采用深度单身神经网络架构，通过构建特征匹配代数体积并使用3D卷积进行代数体积聚合来实现卓越的性能。然而，大多数现有方法由于顺序使用3D卷积而导致参数数量大且运行速度慢。在本文中，我们提出了Ghost-Stereo，这是一种新型的端到端立体匹配网络。网络的特征提取部分使用GhostNet形成U型结构。Ghost-Stereo的核心是基于GhostNet的代数体积增强（Ghost-CVE）模块和基于GhostNet启发的轻量级代数体积聚合（Ghost-CVA）模块。对于Ghost-CVE部分，通过GhostNet-based特征构建和融合代数体积，以增强空间上下文感知。对于Ghost-CVA部分，提出了一种基于GhostNet的轻量级3D卷积瓶颈模块，以降低此模块的计算复杂度。通过结合上下文和几何融合模块，构建了经典的hourglass型代数体积聚合结构。Ghost-Stereo在几个公开基准测试上表现与最先进的实时方法相当，显示出更好的泛化能力。
引用
@article{arxiv.2405.14520,
title = {Ghost-Stereo: GhostNet-based Cost Volume Enhancement and Aggregation for Stereo Matching Networks},
author = {Xingguang Jiang and Xiaofeng Bian and Chenggang Guo},
journal= {arXiv preprint arXiv:2405.14520},
year = {2024}
}