中文

通过小波域损失训练生成式图像超分辨率模型可实现更好的伪影控制

图像与视频处理 2024-03-01 v1 计算机视觉与模式识别

摘要

超分辨率(SR)是一个病态逆问题,其中与给定低分辨率图像一致的可行解集合非常大。许多算法被提出以在可行解中寻找一个在保真度和感知质量之间取得平衡的“好”解。不幸的是,所有已知方法在试图重建高频(HF)图像细节时都会产生伪影和幻觉。一个根本性的问题是:模型能否学会区分真实的图像细节与伪影?尽管最近的一些工作专注于细节和伪影的区分,但这仍是一个极具挑战性的问题,尚未找到令人满意的解决方案。本文表明,与 RGB 域或傅里叶空间损失相比,通过使用小波域损失函数训练基于 GAN 的 SR 模型,可以更好地学习真实 HF 细节与伪影的特征。尽管小波域损失此前已在文献中使用过,但尚未应用于 SR 任务背景下。具体而言,我们仅在高頻小波子带上训练判别器,而非在 RGB 图像上训练;并通过小波子带上的保真度损失训练生成器,使其对结构的尺度和方向敏感。大量的实验结果表明,根据多种客观指标和视觉评估,我们的模型实现了更好的感知 - 失真权衡。

关键词

引用

@article{arxiv.2402.19215,
  title  = {Training Generative Image Super-Resolution Models by Wavelet-Domain Losses Enables Better Control of Artifacts},
  author = {Cansu Korkmaz and A. Murat Tekalp and Zafer Dogan},
  journal= {arXiv preprint arXiv:2402.19215},
  year   = {2024}
}

备注

Accepted for IEEE CVPR 2024, total of 11 pages, 3 pages for references, 7 figures and 2 tables