基于扩散模型的零样本图像修复中确定性与随机策略的统一
计算机视觉与模式识别
2025-03-04 v1
摘要
插值式（PnP）方法提供了一种用于零样本图像修复（IR）问题的迭代策略，利用学习的判别式去噪器作为隐式先验。更近期，一种基于采样的此类方法逐渐流行，后者利用预训练的生成式扩散模型通过随机采样来解决IR问题。使用带预训练扩散模型的PnP方法生成的IR结果在感知质量上显示出明显优势，尽管在数据保真度方面存在牺牲。令人不满意的结果是由于在IR任务中未能将这些策略集成在一起。本文提出了一种新颖的零样本IR方案，称为 Reconciling Diffusion Model in Dual（RDMD），该方法仅利用单个预训练扩散模型构建两个互补的正则化器。具体而言，RDMD中的扩散模型将交替执行确定性去噪和随机采样，以实现高保真度图像修复并兼顾出色的感知质量。RDMD还允许用户通过单个超参数自定义失真-感知权衡，从而增强该修复过程在不同实际场景中的适应性。在多个IR任务上的大量实验表明，我们的方法在FFHQ和ImageNet数据集上均优于现有方法。
引用
@article{arxiv.2503.01288,
title = {Reconciling Stochastic and Deterministic Strategies for Zero-shot Image Restoration using Diffusion Model in Dual},
author = {Chong Wang and Lanqing Guo and Zixuan Fu and Siyuan Yang and Hao Cheng and Alex C. Kot and Bihan Wen},
journal= {arXiv preprint arXiv:2503.01288},
year = {2025}
}
备注
Accepted to CVPR 2025