用于立体匹配的级联多尺度多维度卷积神经网络

卷积神经网络（CNN）已被证明在立体估计方面优于传统立体算法。大量研究致力于逐像素匹配代价计算，这是许多最先进算法的重要组成部分。然而，这些架构局限于单一的小尺度感受野，并使用传统方法进行代价聚合，甚至忽略代价聚合。与此不同，我们将两者同时纳入考虑。首先，我们提出了一种新的多尺度匹配代价计算子网络，其中并行实现了两种不同尺寸的感受野。通过这种方式，网络能够充分利用两种变体，并平衡感受野的增加与细节丢失之间的折衷。此外，我们展示了包含 2D 卷积和 3D 卷积操作的多维度聚合子网络，能够为估计准确的初始视差提供丰富的上下文和语义信息。最后，在具有挑战性的立体匹配基准 KITTI 上的实验表明，即使不进行任何额外的后处理，所提出的方法也能取得具有竞争力的结果。