SR-Stereo & DAPE：基于分步回归和预训练边缘的实用立体匹配
计算机视觉与模式识别
2024-10-15 v4
摘要
由于获取真实样本和真实标签的困难，立体匹配方法的泛化性能和域适应性能对于其在实际应用中的可行性至关重要。然而，不同域之间存在显著的分布性差异，这给模型的泛化和域适应提出了挑战。灵感来自迭代方法，我们提出了一种新的分步回归架构。该架构通过多个受控范围的 clip 回归视差误差，从而有效地克服了域之间的差异。我们基于迭代方法实现了该架构，并将新的立体方法称为SR-Stereo。具体而言，提出了一个新的分步回归单元，以取代原始的更新单元，以控制输出范围。此外，提出了一个回归目标分段，用于为每个分步回归单元单独设置监督。此外，为了增强模型适应新域时稀疏真实标签的边缘感知能力，我们提出了基于预训练边缘的域适应方法（DAPE）。在DAPE中，使用预训练的立体模型和边缘估计器来估计目标域图像的边缘图，这些边缘图与稀疏真实标签视差一起用于微调立体模型。我们在SceneFlow、KITTI、Middbury 2014和ETH3D上广泛评估了提出的SR-Stereo和DAPE。与SOTA方法和通用方法相比，提出的SR-Stereo在同一域内和跨域性能方面表现出竞争力。同时，提出的DAPE显著提高了微调模型的性能，尤其在纹理稀缺和细节区域。
引用
@article{arxiv.2406.06953,
title = {SR-Stereo & DAPE: Stepwise Regression and Pre-trained Edges for Practical Stereo Matching},
author = {Weiqing Xiao and Wei Zhao},
journal= {arXiv preprint arXiv:2406.06953},
year = {2024}
}