Resfusion：基于先验残差噪声的图像复原去噪扩散概率模型
计算机视觉与模式识别
2024-10-25 v4 人工智能
摘要
近年来，去噪扩散模型的研究已将其应用拓展至图像复原领域。传统的基于扩散的图像复原方法将退化图像作为条件输入，以有效引导反向生成过程，而不修改原始去噪扩散过程。然而，由于退化图像已包含低频信息，从高斯白噪声出发会导致采样步数增加。我们提出 Resfusion，一种将残差项纳入扩散前向过程的通用框架，使反向过程直接从含噪退化图像开始。我们的推理过程形式与 DDPM 一致。我们引入了一种加权残差噪声，称为 resnoise，作为预测目标，并明确给出了 resnoise 中残差项与噪声项之间的定量关系。通过利用平滑等价变换，Resfusion 确定了最优加速步并保持了现有噪声调度方案的完整性，统一了训练与推理过程。实验结果表明，Resfusion 在 ISTD 数据集、LOL 数据集和 Raindrop 数据集上仅用五步采样即展现出具有竞争力的性能。此外，Resfusion 可轻松应用于图像生成，并表现出很强的通用性。我们的代码和模型可在 https://github.com/nkicsl/Resfusion 获取。
引用
@article{arxiv.2311.14900,
title = {Resfusion: Denoising Diffusion Probabilistic Models for Image Restoration Based on Prior Residual Noise},
author = {Zhenning Shi and Haoshuai Zheng and Chen Xu and Changsheng Dong and Bin Pan and Xueshuo Xie and Along He and Tao Li and Huazhu Fu},
journal= {arXiv preprint arXiv:2311.14900},
year = {2024}
}
备注
NeurIPS 2024