Stereo Any Video：时间一致的立体匹配

本文介绍了 Stereo Any Video，一个强大的视频立体匹配框架。它能够在不依赖相机位姿或光流等辅助信息的情况下，估计空间准确且时间一致的视差。这种强大的能力源自单目视频深度模型丰富的先验，这些先验与卷积特征相结合以产生稳定的表示。为了进一步提升性能，引入了关键的架构创新：全对相关性，用于构建平滑且稳健的匹配代价卷；以及时间凸上采样，用于提高时间相干性。这些组件共同确保了稳健性、准确性和时间一致性，为视频立体匹配设定了新标准。大量实验表明，我们的方法在零样本设置下，在多个数据集上定性和定量地均达到了最先进的性能，并且对真实世界室内和室外场景具有强大的泛化能力。