统一图像修复与增强：基于退化校准循环重构扩散模型
计算机视觉与模式识别
2024-12-20 v1
摘要
图像修复与增强是众多计算机视觉应用的关键任务，但如何高效统一这些任务仍是重大挑战。灵感来源于扩散模型的迭代细化能力，我们提出了 CycleRDM 框架，旨在统一修复和增强任务，同时实现高质量映射。具体而言，CycleRDM 通过两阶段扩散推理过程，学习退化域、粗糙正常域和正常域之间的映射关系。随后，我们将最终校准过程转移到小波低频域中，通过离散小波变换实现，从频域视角利用任务特定频率空间进行细粒度校准。为提高修复质量，我们设计了用于分解小波高频域的特征增益模块，以消除冗余特征。此外，我们采用多模态文本提示和傅里叶变换驱动稳定去噪，减少推理过程中的随机性。经过广泛验证，CycleRDM 可有效泛化到广泛的图像修复和增强任务，仅需少量训练样本即可在 various重建质量和感知质量基准上显著优于现有方法。源代码将在 https://github.com/hejh8/CycleRDM 上提供。
引用
@article{arxiv.2412.14630,
title = {Unified Image Restoration and Enhancement: Degradation Calibrated Cycle Reconstruction Diffusion Model},
author = {Minglong Xue and Jinhong He and Shivakumara Palaiahnakote and Mingliang Zhou},
journal= {arXiv preprint arXiv:2412.14630},
year = {2024}
}