GAN 基于超分辨模型捕获空间信息损失函数的通用方法
图像与视频处理
2024-03-19 v1 计算机视觉与模式识别
摘要
生成对抗网络（GAN）因能够生成更具视觉真实感的图像和视频帧，在超分辨率问题中表现出色。然而，这些模型常会在输出中引入副作用，如意外的伪影和噪声。为减少这些伪影并提升结果的感知质量，本文提出一种通用方法，可有效应用于大多数基于GAN的超分辨率（SR）模型，通过在训练过程中引入关键空间信息。我们从输入数据中提取空间信息并纳入训练损失，使相应损失成为空间自适应（SA）损失。随后，我们利用它来指导训练过程。我们将展示该方法独立于用于提取空间信息的方法，独立于SR任务和模型。该方法持续指导训练过程生成视觉令人满意的SR图像和视频帧，显著减轻伪影和噪声，最终提升感知质量。
引用
@article{arxiv.2403.10589,
title = {A General Method to Incorporate Spatial Information into Loss Functions for GAN-based Super-resolution Models},
author = {Xijun Wang and Santiago López-Tapia and Alice Lucas and Xinyi Wu and Rafael Molina and Aggelos K. Katsaggelos},
journal= {arXiv preprint arXiv:2403.10589},
year = {2024}
}