iSeeBetter：基于循环生成反投影网络的时空视频超分辨率
计算机视觉与模式识别
2020-10-01 v4 人工智能
机器学习
多媒体
图像与视频处理
摘要
近来，基于学习的模型提升了单图像超分辨率（SISR）的性能。然而，将 SISR 逐帧应用于视频会导致时间一致性缺失。卷积神经网络（CNN）在峰值信噪比（PSNR）与结构相似性（SSIM）等图像质量指标上优于传统方法。但生成对抗网络（GAN）具备竞争优势，能缓解 CNN 在大倍率超分辨率时常见的精细纹理细节缺失问题。我们提出 iSeeBetter，一种基于 GAN 的新型时空视频超分辨率（VSR）方法，可生成时间一致的超分辨率视频。iSeeBetter 利用其生成器中的循环反投影网络概念，从当前及邻近帧提取空间与时间信息。此外，为提升超分辨率图像的“自然度”并消除传统算法所见伪影，我们采用超分辨率生成对抗网络（SRGAN）的判别器。尽管以均方误差（MSE）作为主要损失最小化目标可改善 PSNR/SSIM，这些指标可能无法捕捉图像精细细节，导致感知质量失真。为此，我们使用四重（MSE、感知、对抗与全变分（TV））损失函数。我们的结果表明 iSeeBetter 提供更优的 VSR 保真度，并超越最先进性能。
引用
@article{arxiv.2006.11161,
title = {iSeeBetter: Spatio-temporal video super-resolution using recurrent generative back-projection networks},
author = {Aman Chadha and John Britto and M. Mani Roja},
journal= {arXiv preprint arXiv:2006.11161},
year = {2020}
}
备注
11 pages, 6 figures, 4 tables, Project Page: https://iseebetter.amanchadha.com/