缩放与学习：将深度立体匹配推广到新领域

尽管使用卷积神经网络（CNN）的立体匹配近期取得了成功，但将预训练的深度立体模型推广到新领域仍然很困难。一个主要困难在于为目标领域中的立体图像对收集精确的真实视差。在本工作中，我们提出了一种用于 CNN 训练的自适应方法，同时利用合成训练数据（带有真实视差）和新领域中的立体图像对（不带真实视差）。我们的方法由两个经验观察所驱动。通过将不同领域的真实立体图像对输入到用合成数据预训练的立体模型中，我们发现：预训练模型不能很好地推广到新领域，在边界和不适定区域产生伪影；然而，输入上采样后的立体图像对会得到带有额外细节的视差图。为了避免 并利用，我们构建了一个带有图拉普拉斯正则化的迭代优化问题。在每次迭代中，CNN 自身更好地适应新领域：我们让 CNN 学习其自身更高分辨率的输出；同时，施加图拉普拉斯正则化以判别性地保留期望的边缘并平滑掉伪影。我们在两个领域展示了我们方法的有效性：智能手机相机采集的日常场景，以及驾驶汽车中拍摄的街景。