FDAN:面向视频超分辨率的流引导可变形对齐网络
计算机视觉与模式识别
2021-05-13 v1
摘要
大多数视频超分辨率(VSR)方法通过对齐相邻帧并挖掘这些帧上的信息来增强视频参考帧。近来,可变形对齐因其在 VSR 领域的优异表现而受到广泛关注,它能够自适应地将相邻帧与参考帧对齐。然而,我们通过实验发现,由于局部损失驱动的偏移预测以及缺乏显式运动约束,可变形对齐方法在快速运动下仍表现不佳。为此,我们提出基于匹配的流估计(MFE)模块,进行全局语义特征匹配并估计光流作为各位置的粗偏移。并提出流引导可变形模块(FDM),将光流整合进可变形卷积中。FDM 首先利用光流对相邻帧进行扭曲,随后将扭曲后的相邻帧与参考帧用于为每个粗偏移预测一组精细偏移。总体而言,我们提出了一种端到端深度网络——流引导可变形对齐网络(FDAN),该网络在两个基准数据集上达到了 SOTA 性能,同时在计算与内存消耗上仍具竞争力。
引用
@article{arxiv.2105.05640,
title = {FDAN: Flow-guided Deformable Alignment Network for Video Super-Resolution},
author = {Jiayi Lin and Yan Huang and Liang Wang},
journal= {arXiv preprint arXiv:2105.05640},
year = {2021}
}