SSL: 一种用于提升生成式图像超分辨率的自相似性损失
计算机视觉与模式识别
2024-08-20 v2
摘要
生成对抗网络（GAN）和生成式扩散模型（DM）已被广泛用于真实图像超分辨率（Real-ISR）以增强图像感知质量。然而，这些生成式模型容易产生视觉伪影和虚假图像结构，导致不自然的 Real-ISR 结果。基于自然图像具有高自相似性的事实，即局部块在整幅图像中可以有许多相似块，在本工作中我们提出了一种简单而有效的自相似性损失（SSL）来提升生成式 Real-ISR 模型的性能，在增强结构和纹理细节幻觉的同时减少不愉快的视觉伪影。具体而言，我们计算真实图像的自相似性图（SSG），并强制 Real-ISR 输出的 SSG 与之接近。为了降低训练成本并聚焦于边缘区域，我们从真实图像生成边缘掩码，并仅在掩码像素上计算 SSG。提出的 SSL 作为一种通用的即插即用惩罚项，可以轻松应用于现成的 Real-ISR 模型。我们的实验表明，通过结合 SSL，许多最先进的 Real-ISR 模型的性能，包括基于 GAN 和 DM 的模型，可以得到显著提升，重现出更具感知真实感的图像细节并消除许多虚假重建和视觉伪影。代码和补充材料可在 https://github.com/ChrisDud0257/SSL 找到。
引用
@article{arxiv.2408.05713,
title = {SSL: A Self-similarity Loss for Improving Generative Image Super-resolution},
author = {Du Chen and Zhengqiang Zhang and Jie Liang and Lei Zhang},
journal= {arXiv preprint arXiv:2408.05713},
year = {2024}
}
备注
Accepted by ACM MM 2024