利用扩散模型生成的评分先验进行图像修复
计算机视觉与模式识别
2025-07-31 v2
摘要
深度图像修复模型旨在学习从退化图像空间映射到自然图像空间。然而，它们面临三个关键挑战：去除退化、生成真实细节以及确保像素级一致性。随着发展，涌现出三大类方法：基于 MSE 的方法、基于 GAN 的方法以及基于扩散模型的方法。但这些方法难以在恢复质量、保真度与速度之间取得良好平衡。我们提出一种新方法 HYPIR 以解决上述挑战。其解决方案流程为：先使用预训练扩散模型初始化图像修复模型，再进行对抗训练微调。该方法无需依赖扩散损失、迭代采样或额外适配器。我们理论上证明，从预训练扩散模型初始化对抗训练可使初始修复模型位于自然图像分布非常接近的地方，从而提升数值稳定性、避免模式崩溃并显著加速对抗训练的收敛。此外，HYPIR 继承了扩散模型的诸多优势，支持丰富的用户控制，实现文本引导的修复及可调纹理丰富度。仅需一次前向传播，即可实现比扩散方法更快的收敛与推理速度。大量实验表明，HYPIR 超越了之前的 SOTA 方法，实现了高效且高质量的图像修复。
引用
@article{arxiv.2507.20590,
title = {Harnessing Diffusion-Yielded Score Priors for Image Restoration},
author = {Xinqi Lin and Fanghua Yu and Jinfan Hu and Zhiyuan You and Wu Shi and Jimmy S. Ren and Jinjin Gu and Chao Dong},
journal= {arXiv preprint arXiv:2507.20590},
year = {2025}
}