探索运动歧义与对齐以实现高质量视频帧插值

对于视频帧插值（VFI），现有的基于深度学习的方法强烈依赖于真实（GT）中间帧，这有时忽略了从给定相邻帧判断运动的非唯一性。因此，这些方法倾向于产生不够清晰的均值化解决方案。为了缓解这个问题，我们提出放宽将重建的中间帧尽可能接近GT的要求。为此，我们基于插值内容应与给定帧中的对应部分保持相似结构的假设，开发了一种纹理一致性损失（TCL）。满足此约束的预测会受到鼓励，尽管它们可能与预定义的GT不同。无需任何附加技巧，我们的即插即用TCL能够提升现有VFI框架的性能。另一方面，以往的方法通常采用代价体或相关图来实现更精确的图像/特征变形。然而，O(N^2)（N指像素数）的计算复杂度使其不适用于高分辨率情况。在这项工作中，我们设计了一个简单、高效（O(N)）但功能强大的跨尺度金字塔对齐（CSPA）模块，其中多尺度信息得到了高度利用。大量实验证明了所提出策略的效率和有效性。