用于视频帧插值的流引导可变形补偿网络
计算机视觉与模式识别
2022-11-23 v1
摘要
基于运动的视频帧插值（VFI）方法随着深度卷积网络的发展在过去几年取得了显著进展。然而其性能常因光流图估计的不准确而受损，尤其在大幅运动和遮挡情况下。本文提出一种流引导可变形补偿网络（FGDCN）以克服现有基于运动方法的缺陷。FGDCN将帧采样过程分解为两步：光流步和形变步。具体而言，光流步利用由粗到细的光流估计网络直接估计中间光流并同时合成锚定帧。为确保估计光流的准确性，该步联合使用了蒸馏损失和任务导向损失。在第一步所学光流先验的引导下，形变步设计了一个金字塔可变形补偿网络来补偿光流步缺失的细节。此外，提出一种金字塔损失以在图像和频域同时监督模型。实验结果表明，所提算法以更少的参数量在各种数据集上取得了优异性能。
引用
@article{arxiv.2211.12117,
title = {Flow Guidance Deformable Compensation Network for Video Frame Interpolation},
author = {Pengcheng Lei and Faming Fang and Guixu Zhang},
journal= {arXiv preprint arXiv:2211.12117},
year = {2022}
}