用于视频去模糊的对抗式时空学习
计算机视觉与模式识别
2018-10-17 v2
摘要
相机抖动或目标运动常导致手持相机所摄视频中出现不期望的模糊效应。尽管视频去模糊研究已投入大量努力，仍有两大挑战尚存：1）如何对空间域（即图像平面）与时域（即相邻帧）跨域的时空特征建模；2）如何针对 conventionally adopted 的逐像素误差度量恢复清晰图像细节。本文中，为应对第一挑战，我们提出一种去模糊网络（DBLRNet），通过修正的 3D 卷积应用于空间与时域以进行时空学习。我们的 DBLRNet 能够联合捕获相邻帧中编码的时空信息，这直接促成了改进的视频去模糊性能。为攻克第二挑战，我们将所开发的 DBLRNet 作为 GAN（生成对抗网络）架构中的生成器，并采用内容损失加之对抗损失以实现高效对抗训练。所开发的网络被命名为去模糊生成对抗网络（DBLRGAN），其在两个标准基准上测试并达到了最先进性能。
引用
@article{arxiv.1804.00533,
title = {Adversarial Spatio-Temporal Learning for Video Deblurring},
author = {Kaihao Zhang and Wenhan Luo and Yiran Zhong and Lin Ma and Wei Liu and Hongdong Li},
journal= {arXiv preprint arXiv:1804.00533},
year = {2018}
}
备注
To appear in IEEE Transactions on Image Processing (TIP)