基于运动自适应反馈单元的视频人脸超分辨率
计算机视觉与模式识别
2020-02-18 v1
摘要
由于深度卷积神经网络（CNN）的发展，视频超分辨率（VSR）方法近来取得了显著成功。当前最先进的CNN方法通常将VSR问题视为大量独立的多帧超分辨率任务，即利用一批低分辨率（LR）帧生成单张高分辨率（HR）帧，并在整个视频上滑动窗口选取LR帧可得到一系列HR帧。然而，由于帧间复杂的时间依赖性，随着LR输入帧数量增加，重建HR帧的性能变差。原因在于这些方法缺乏建模复杂时间依赖性的能力，难以为VSR过程提供准确的运动估计与补偿，使得在帧间运动复杂时性能急剧下降。本文中，我们提出一种运动自适应反馈单元（MAFC），一个简单而有效的模块，可高效捕获运动补偿并以自适应方式反馈至网络。我们的方法高效利用了帧间运动信息，避免了网络对运动估计与补偿方法的依赖。此外，得益于MAFC的优异特性，网络在极端复杂运动场景下可获得更好性能。大量评估与对比验证了本方法的优势，实验结果表明所提框架优于最先进的方法。
引用
@article{arxiv.2002.06378,
title = {Video Face Super-Resolution with Motion-Adaptive Feedback Cell},
author = {Jingwei Xin and Nannan Wang and Jie Li and Xinbo Gao and Zhifeng Li},
journal= {arXiv preprint arXiv:2002.06378},
year = {2020}
}
备注
To appear in AAAI 2020