利用对抗特征匹配增强感知损失以实现超分辨率
图像与视频处理
2020-05-18 v1 计算机视觉与模式识别
摘要
单图像超分辨率（SISR）是一个具有不确定数量有效解的不适定问题。用神经网络解决此问题需要获取大量经验，这些经验可表现为自然图像上的大型训练集，或来自另一个预训练网络的浓缩表示。属于后一类的感知损失函数已在 SISR 及若干其他计算机视觉任务中取得突破性成功。虽然感知损失在生成照片真实感图像中起着核心作用，它也会在超分辨率输出中产生不期望的图案伪影。在本文中，我们表明这些图案伪影的根本原因可追溯到感知损失的预训练目标与超分辨率目标之间的不匹配。为解决此问题，我们提出用一种新颖的内容损失函数扩充现有的感知损失公式，该函数利用判别器网络的潜在特征在多个对抗相似度层级上过滤不想要的伪影。此外，我们的修改对非凸优化在对抗训练中具有稳定作用。所提方法在广泛的人类评估研究中表现出感知质量的显著提升，并在客观评价指标测试中具备有竞争力的重建保真度。
引用
@article{arxiv.2005.07502,
title = {Enhancing Perceptual Loss with Adversarial Feature Matching for Super-Resolution},
author = {Akella Ravi Tej and Shirsendu Sukanta Halder and Arunav Pratap Shandeelya and Vinod Pankajakshan},
journal= {arXiv preprint arXiv:2005.07502},
year = {2020}
}
备注
Accepted for publication in the International Joint Conference on Neural Networks (IJCNN) 2020