用于结构增强图像超分辨率的梯度方差损失
图像与视频处理
2022-02-03 v1 人工智能
计算机视觉与模式识别
摘要
单图像超分辨率（SISR）领域的近期成功，是通过在图像空间中使用 L1 或 L2 损失优化深度卷积神经网络（CNNs）实现的。然而，当使用这些损失函数训练时，模型通常无法恢复高分辨率（HR）图像中存在的锐利边缘，原因在于模型倾向于给出潜在 HR 解的统计平均。在我们的研究中，我们观察到由 L1 或 L2 损失训练的模型所生成图像的梯度图，其方差显著低于原始高分辨率图像的梯度图。在本工作中，我们提出通过引入一种结构增强损失函数（称为梯度方差（GV）损失）来缓解上述问题，并生成具有感知愉悦细节的纹理。具体而言，在模型训练期间，我们从目标与生成输出的梯度图中提取块，计算每个块的方差并为这两幅图像形成方差图。进一步，我们最小化所计算方差图之间的距离，以强制模型产生高方差梯度图，从而导致生成具有更锐利边缘的高分辨率图像。实验结果表明，GV 损失能显著提升现有图像超分辨率（SR）深度学习模型的结构相似性（SSIM）与峰值信噪比（PSNR）性能。
引用
@article{arxiv.2202.00997,
title = {Gradient Variance Loss for Structure-Enhanced Image Super-Resolution},
author = {Lusine Abrahamyan and Anh Minh Truong and Wilfried Philips and Nikos Deligiannis},
journal= {arXiv preprint arXiv:2202.00997},
year = {2022}
}
备注
ICASSP 2022