UGPNet:用于图像修复的通用生成先验
计算机视觉与模式识别
2024-01-02 v1 图像与视频处理
摘要
最近的图像修复方法大致可分为两类:(1) 回归方法,恢复原始图像的粗略结构但不合成高频细节;(2) 生成方法,合成感知真实的高频细节,尽管生成的图像偏离了输入图像的原始结构。虽然这两个方向已被广泛独立研究,但很少有关于在单一框架中融合其优势的研究。在本文中,我们提出了 UGPNet,这是一种通用的图像修复框架,通过简单地采用一对现有的回归模型和生成模型,就能有效地结合两种方法的优势。UGPNet 首先使用回归模型恢复退化输入图像的结构,然后在回归输出的基础上利用生成模型合成感知真实的图像。UGPNet 随后结合回归输出和合成输出,得到的最终结果不仅忠实地重建了原始图像的结构,还具备感知真实的纹理。我们在去模糊、去噪和超分辨率方面的广泛实验表明,UGPNet 能够成功利用回归和生成方法实现高保真度的图像修复。
引用
@article{arxiv.2401.00370,
title = {UGPNet: Universal Generative Prior for Image Restoration},
author = {Hwayoon Lee and Kyoungkook Kang and Hyeongmin Lee and Seung-Hwan Baek and Sunghyun Cho},
journal= {arXiv preprint arXiv:2401.00370},
year = {2024}
}
备注
Accepted to WACV 2024