用于立体匹配的图像耦合体传播

在公开的双目深度估计基准上，若干领先方法依赖于耗费内存的 4D 代价体和计算密集的 3D 卷积来进行特征匹配。我们提出了一种处理 4D 代价体的新方法，将两种不同的概念合并到一个深度集成的框架中以实现共生关系。一个特征匹配部分负责沿基线识别匹配的像素对，而一个并行的图像体部分受单目 CNN 深度估计启发。然而，它并非直接从图像特征预测深度，而是提供额外的上下文以在像素匹配过程中解决歧义。更具体地说，4D 代价体的处理被分离为 2D 传播和 3D 传播两部分。从左图的特征图出发，2D 传播通过在各层向代价体的几何上下文添加视觉特征，来辅助其 3D 传播部分。通过结合两部分，我们可以安全地缩减匹配部分中 3D 卷积层的规模而不损失精度。实验表明，我们端到端训练的 CNN 在 KITTI2012 和 ETH3D 基准上排名第二，同时比排名第一的方法显著更快。此外，我们注意到图像与匹配体的耦合改善了细尺度细节，这由我们的定性分析所展示。