基于空间金字塔网络的光流估计

我们通过将经典空间金字塔公式与深度学习相结合来学习计算光流。该方法以由粗到精的方式估计大运动：在每个金字塔层级，利用当前光流估计对图像对中的一张图像进行扭曲，并计算光流的更新量。不同于在每个金字塔层级标准地最小化目标函数，我们训练每个层级一个深度网络来计算光流更新。与近期的FlowNet方法不同，这些网络无需处理大运动；大运动由金字塔处理。这具有若干优势。首先，我们的空间金字塔网络（SPyNet）在模型参数上比FlowNet简单得多且小96%。这使其更高效且适用于嵌入式应用。其次，由于每个金字塔层级的光流很小（< 1像素），将卷积方法应用于扭曲图像对是合适的。第三，与FlowNet不同，学习到的卷积滤波器看起来类似于经典的时空滤波器，从而可洞察该方法及如何改进它。我们的结果在大多数标准基准上比FlowNet更准确，暗示了将经典光流方法与深度学习结合的新方向。