通过双向对齐实现视频立体匹配

视频立体匹配是估计从整齐的立体视频中产生一致视差图的任务。在数据集和方法方面仍有较大的改进空间。近期基于学习的方法通常专注于优化独立立体对的性能，导致视频中存在时间不一致性。现有的视频方法通常在时间维度上使用滑动窗口操作，这会导致窗口大小对应的低频振荡。为解决这些挑战，我们提出了一种用于相邻帧的双向对齐机制作为基本操作。基于此，我们引入一种新型的视频处理框架 BiDAStereo，以及一个兼容通用图像方法的插件稳定器网络 BiDAStabilizer。关于数据集，当前用于训练和基准测试的合成物体基和室内数据集常被使用，缺乏户外自然场景。为弥合这一差距，我们提供了一个聚焦于自然场景的真实合成数据集和基准，以及一个由立体相机在多样化城市场景中捕获的真实数据集用于定性评估。广泛的实验在域内、域外以及鲁棒性评估中展示了我们方法和数据集的贡献，显示在预测质量方面取得改进，并在各种常用基准上实现最先进的结果。项目页面、演示、代码和数据集均可在 https://tomtomtommi.github.io/BiDAVideo/ 访问。