EDVR：基于增强可变形卷积网络的视频复原
计算机视觉与模式识别
2019-05-08 v1
摘要
视频复原任务，包括超分辨率、去模糊等，正引起计算机视觉界越来越多的关注。NTIRE19 挑战赛发布了一个名为 REDS 的具有挑战性的基准。这一新基准从两个方面挑战现有方法：(1) 如何在存在大幅运动的情况下对齐多帧，以及 (2) 如何有效融合具有不同运动和模糊的多帧。在这项工作中，我们提出一种新颖的增强可变形网络视频复原框架，称为 EDVR，以应对这些挑战。首先，为处理大幅运动，我们设计了一个金字塔、级联与可变形（PCD）对齐模块，其中帧对齐在特征层级上使用可变形卷积以由粗到精的方式完成。其次，我们提出一个时空注意力（TSA）融合模块，其中注意力同时在时间和空间上施加，以强调对后续复原重要的特征。得益于这些模块，我们的 EDVR 在 NTIRE19 视频复原与增强挑战赛的全部四个赛道中夺得冠军，并以较大优势超越第二名。EDVR 在视频超分辨率与去模糊上也展示出优于最先进已发表方法的性能。代码见 https://github.com/xinntao/EDVR。
引用
@article{arxiv.1905.02716,
title = {EDVR: Video Restoration with Enhanced Deformable Convolutional Networks},
author = {Xintao Wang and Kelvin C. K. Chan and Ke Yu and Chao Dong and Chen Change Loy},
journal= {arXiv preprint arXiv:1905.02716},
year = {2019}
}
备注
To appear in CVPR 2019 Workshop. The winners in all four tracks in the NTIRE 2019 video restoration and enhancement challenges. Project page: https://xinntao.github.io/projects/EDVR , Code: https://github.com/xinntao/EDVR