用于高细节光流上采样的局部注意力变换器

大多数近期关于光流的工作使用凸上采样作为最后一步以获得高分辨率流。在本文中，我们展示并讨论了这种目前广泛采用的凸上采样方法的若干问题和局限性。我们提出了一系列改进尝试以解决当前问题。首先，我们提出解耦最终凸上采样器的权重，使其更容易找到正确的凸组合。出于同样的原因，我们还为凸上采样器提供了额外的上下文特征。然后，我们通过使用一种基于注意力的凸上采样器替代来增大凸掩码的大小——用于凸上采样的变换器（Transformers for Convex Upsampling）。该上采样器基于凸上采样可重构为注意力这一观察结果，我们提出使用局部注意力掩码作为凸掩码的直接替代品以增大掩码尺寸。我们提供了经验证据表明更大的掩码尺寸增加了凸组合存在的可能性。最后，我们提出了一种替代训练方案以去除模型输出中的双线性插值伪影。我们提出的想法理论上可应用于几乎所有当前的最先进光流架构。在 FlyingChairs + FlyingThings3D 训练设置下，我们仅通过调整凸上采样器就将 RAFT 的 Sintel Clean 训练端点误差从 1.42 降至 1.26，GMA 从 1.31 降至 1.18，FlowFormer 从 0.94 降至 0.90。