中文

面向大运动视频帧插值的稀疏全局匹配

计算机视觉与模式识别 2024-08-20 v3

摘要

大运动对视频帧插值(VFI)任务构成了严峻挑战。现有方法通常受限于有限的感受野,导致在处理大运动场景时性能欠佳。本文中,我们引入了一种新的VFI流程,该流程能够有效整合全局级信息以缓解与大运动相关的问题。具体来说,我们首先使用高分辨率特征图估计一对初始中间光流,以提取局部细节。然后,我们引入一个稀疏全局匹配分支来补偿光流估计,该分支包括识别初始光流中的缺陷并生成具有全局感受野的稀疏光流补偿。最后,我们自适应地融合初始光流估计与全局光流补偿,从而得到更精确的中间光流。为了评估我们的方法在处理大运动方面的有效性,我们从常用基准中精心挑选了一个更具挑战性的子集。我们的方法在这些具有大运动的VFI子集上展示了最先进的性能。

关键词

引用

@article{arxiv.2404.06913,
  title  = {Sparse Global Matching for Video Frame Interpolation with Large Motion},
  author = {Chunxu Liu and Guozhen Zhang and Rui Zhao and Limin Wang},
  journal= {arXiv preprint arXiv:2404.06913},
  year   = {2024}
}

备注

Accepted by CVPR 2024. Project page: https://sgm-vfi.github.io/