基于多视图一致性最大化的无参考全景立体匹配

可靠地从多鱼眼立体匹配中进行全景深度估计是许多应用（如具身机器人）的关键技术。现有方法要么依赖带有启发式融合策略的球面扫描构建代价列，要么基于校正视图执行参考中心立体匹配。然而，这些方法未充分利用多个视图之间的几何关系，导致在捕获全局依赖性、可见性或尺度变化方面能力有限。本文我们转向新的视角，提出一种新颖的无参考框架，称为 FreeOmniMVS，通过多视图一致性最大化实现。FreeOmniMVS 的亮点在于可以将两两相关性聚合为稳健的、可见性感知的和全局一致性。因此，它对遮挡、部分重叠和变化基线具有鲁棒性。具体而言，为实现全局一致性，我们引入一种新颖的视图对相关转换器（VCT），该转换器显式地跨越所有相机视图对建模两两相关体积，从而可以放弃因遮挡或焦外观察导致的不可靠配对。为实现可扩展且可见性感知的一致性，我们提出一种轻量级注意力机制，自适应地融合相关向量，无需指定参考视图，使所有相机能够平等地为立体匹配过程贡献。在多样化基准数据集上的大量实验表明，我们的方法在全局一致性、可见性感知和尺度感知的全景深度估计方面具有优势。