用于视频超分辨率的生成对抗网络与感知损失
计算机视觉与模式识别
2019-06-26 v2
摘要
视频超分辨率（VSR）已成为视频处理中最关键的问题之一。在深度学习文献中，近期工作已显示出使用基于对抗的和感知损失来改善各种图像复原任务性能的益处；然而，这些尚未应用于视频超分辨率。在这项工作中，我们提出了一种基于生成对抗网络（GAN）的 VSR 公式。我们引入了一个为 VSR 问题优化的新生成器网络，名为 VSRResNet，以及一种新的判别器架构以在 GAN 训练期间正确引导 VSRResNet。我们进一步用两个正则化项（特征空间和像素空间中的距离损失）增强我们的 VSR GAN 公式，得到我们最终的 VSRResFeatGAN 模型。我们展示了仅用均方误差损失预训练我们的生成器在定量上超越了当前最先进的 VSR 模型。最后，我们采用 PercepDist 度量（Zhang 等人，2018）来比较最先进的 VSR 模型。我们展示该度量比常用的 PSNR/SSIM 度量更准确地评估从神经网络获得的 SR 解的感知质量。最后，我们展示我们提出的模型 VSRResFeatGAN 在定量和定性上都优于当前最先进的 SR 模型。
引用
@article{arxiv.1806.05764,
title = {Generative Adversarial Networks and Perceptual Losses for Video Super-Resolution},
author = {Alice Lucas and Santiago Lopez Tapia and Rafael Molina and Aggelos K. Katsaggelos},
journal= {arXiv preprint arXiv:1806.05764},
year = {2019}
}
备注
In the the review process IEEE TIP