中文

利用后期代价聚合提升多视图立体视觉

计算机视觉与模式识别 2024-01-25 v2

摘要

成对匹配代价聚合是现代基于学习的多视图立体视觉 (MVS) 的关键步骤。先前的工作采用早期聚合方案,将成对代价累加为中间代价。然而,我们分析指出,这一过程可能会削弱信息丰富的成对匹配,从而阻碍深度网络充分利用原始的几何匹配线索。为应对这一挑战,我们提出了一种后期聚合方法,允许在整个网络前馈过程中聚合成对代价,仅需对普通 CasMVSNet 进行微小改动即可实现精确估计。后期聚合不再通过加权求和构建中间代价,而是沿独立的视图通道保留所有成对代价。这使得后续深度网络能够在不损失代价保真度的情况下充分利用关键的几何线索。基于新的聚合方案,我们提出了进一步的技术,以解决保留代价中的视图顺序依赖性、处理灵活的测试视图以及改进深度滤波过程。尽管技术简单,我们的方法显著优于基于级联的基线方法,在计算开销有利的情况下取得了与最先进 (SOTA) 方法相当的结果。

关键词

引用

@article{arxiv.2401.11751,
  title  = {Boosting Multi-view Stereo with Late Cost Aggregation},
  author = {Jiang Wu and Rui Li and Yu Zhu and Wenxun Zhao and Jinqiu Sun and Yanning Zhang},
  journal= {arXiv preprint arXiv:2401.11751},
  year   = {2024}
}

备注

Code and models are available at https://github.com/Wuuu3511/LAMVSNET