感知-失真平衡的图像超分辨率是一个多目标优化问题
图像与视频处理
2024-09-10 v1 计算机视觉与模式识别
摘要
使用基于像素的回归损失训练单图像超分辨率（SISR）模型可以获得高失真指标得分（例如PSNR和SSIM），但由于高频细节恢复不足，往往会导致图像模糊。相反，使用GAN或感知损失可以产生具有高感知指标得分（例如LPIPS）的清晰图像，但可能会引入伪影和错误的纹理。平衡这两类损失有助于在失真和感知之间实现折中，但挑战在于调整损失函数的权重。为了解决这个问题，我们提出了一种将多目标优化（MOO）纳入SISR模型训练过程的新方法，以平衡感知质量和失真。我们将损失权重与图像质量评估（IQA）指标之间的关系概念化为黑盒目标函数，并在我们的多目标贝叶斯优化超分辨率（MOBOSR）框架中进行优化。该方法自动化了超参数调优过程，降低了总体计算成本，并允许同时使用多种损失函数。大量实验表明，MOBOSR在感知质量和失真方面均优于现有方法（SOTA），显著推进了感知-失真Pareto前沿。我们的工作为几乎所有图像恢复任务中平衡感知质量与保真度的未来研究指明了新方向。源代码和预训练模型可在以下网址获取：https://github.com/ZhuKeven/MOBOSR。
引用
@article{arxiv.2409.03179,
title = {Perceptual-Distortion Balanced Image Super-Resolution is a Multi-Objective Optimization Problem},
author = {Qiwen Zhu and Yanjie Wang and Shilv Cai and Liqun Chen and Jiahuan Zhou and Luxin Yan and Sheng Zhong and Xu Zou},
journal= {arXiv preprint arXiv:2409.03179},
year = {2024}
}