揭示图像超分辨率中的过平滑挑战：基于熵的量化与对比优化
图像与视频处理
2024-03-18 v2 计算机视觉与模式识别
摘要
面向 PSNR 的模型是一类关键的超分辨率模型，应用于多个领域。然而，这些模型往往生成过平滑的图像，该问题此前已从模型或损失函数的角度进行分析，却未考虑数据特性的影响。本文提出一种我们称之为中心导向优化（COO）问题的新现象，即模型输出收敛于相似高分辨率图像的中心点，而非朝向真实图像。我们证明该问题的强度与数据的不确定性相关，并用熵对其进行量化。我们证明随着高分辨率图像熵的增大，其中心点将远离干净图像分布，模型会生成过平滑图像。隐式优化 COO 问题可视为感知驱动方法，如感知损失、模型结构优化或基于 GAN 的方法。我们提出一种称为细节增强对比损失（DECLoss）的 COO 问题显式解决方案。DECLoss 利用对比学习的聚类特性直接降低潜在高分辨率分布的方差，从而减少熵。我们在多个超分辨率基准上评估 DECLoss，证明其提升了面向 PSNR 模型的感知质量。此外，当应用于基于 GAN 的方法（如 RaGAN）时，DECLoss 有助于实现最先进性能，例如在 4 倍下采样的 Urban100 上取得 0.093 LPIPS 与 24.51 PSNR，验证了方法的有效性与泛化能力。
引用
@article{arxiv.2201.01034,
title = {Uncovering the Over-smoothing Challenge in Image Super-Resolution: Entropy-based Quantification and Contrastive Optimization},
author = {Tianshuo Xu and Lijiang Li and Peng Mi and Xiawu Zheng and Fei Chao and Rongrong Ji and Yonghong Tian and Qiang Shen},
journal= {arXiv preprint arXiv:2201.01034},
year = {2024}
}
备注
Accepted in IEEE Transactions on Pattern Analysis and Machine Intelligence