深度平衡光流估计

许多近期最先进（SOTA）的光流模型使用有限步循环更新操作来模拟传统算法，通过鼓励迭代细化以趋向稳定的流估计。然而，这些 RNN 带来了巨大的计算与内存开销，且未被直接训练以建模此类稳定估计。它们可能收敛不佳并因此遭受性能下降。为克服这些缺陷，我们提出深度平衡（DEQ）流估计器，该方法直接将流求解为隐式层的无限层不动点（使用任意黑盒求解器），并解析地通过该不动点求导（从而需要 $O(1)$ 训练内存）。这种隐式深度方法不依赖于任何特定模型，因此可应用于广泛的 SOTA 流估计模型设计。使用这些 DEQ 流估计器使我们能够利用定点重用与不精确梯度更快地计算流，消耗比循环对应物少 $4\sim6\times$ 的训练内存，并在相同计算预算下取得更好结果。此外，我们提出一种新颖的稀疏不动点校正方案以稳定我们的 DEQ 流估计器，其解决了 DEQ 模型长期存在的普遍挑战。我们在多种现实设定下测试了我们的方法，并表明其在 Sintel 与 KITTI 数据集上以显著更优的计算与内存效率改进了 SOTA 方法。