面向立体匹配的鲁棒合成到真实迁移

随着域泛化立体匹配网络的进步，在合成数据上预训练的模型对未见域展现出强大的鲁棒性。然而，很少有研究调查在真实场景中对它们进行微调后的鲁棒性，在此过程中域泛化能力可能会严重退化。在本文中，我们探索在不损害立体匹配网络对未见域的鲁棒性的情况下对其进行微调。我们的动机源于比较 Ground Truth (GT) 与 Pseudo Label (PL) 用于微调的效果：GT 会导致退化，而 PL 能保持域泛化能力。根据经验，我们发现 GT 与 PL 之间的差异蕴含了宝贵的信息，可以在微调期间对网络进行正则化。我们还提出了一个利用该差异进行微调的框架，由一个冻结的 Teacher、一个指数移动平均 (EMA) Teacher 和一个 Student 网络组成。核心思想是利用 EMA Teacher 来衡量 Student 已经学到的内容，并动态改进用于微调的 GT 和 PL。我们将我们的框架与最先进的网络相集成，并在几个真实世界数据集上评估其有效性。大量实验表明，我们的方法在微调期间有效地保持了域泛化能力。