基于扩散模型的噪声空间域适应图像去噪
计算机视觉与模式识别
2025-02-20 v3
摘要
尽管基于学习的图像修复方法取得了显著进展,但它们仍在训练基于合成数据的情况下,因与现实场景之间的显著域间距而难以获得良好的泛化性。现有方法通过改进数据合成流程、估计退化核、采用深度内部学习以及执行域适应和正则化来解决此问题。先前的域适应方法试图通过学习特征或像素空间中的域不变知识来弥合域间距。然而,这些技术常常难以在稳定且紧凑的框架内扩展到低层视觉任务。本文表明,可能通过噪声空间进行域适应。特别是,利用辅助条件输入如何影响多步去噪过程的独特属性,我们推导出有意义的扩散损失,以引导修复模型逐步对齐恢复后的合成和真实世界输出与目标干净分布之间的差异。我们将这种方法称为去噪即适应。为防止联合训练期间出现捷径,我们提出了关键策略,如通道混洗层和残差交换对比学习,用于扩散模型。它们在条件合成数据和真实数据之间模糊了边界,防止模型依赖于容易区分的特征。在三个经典图像修复任务(去噪、去模糊和去雨)上的实验结果表明,所提出方法的有效性。
引用
@article{arxiv.2406.18516,
title = {Denoising as Adaptation: Noise-Space Domain Adaptation for Image Restoration},
author = {Kang Liao and Zongsheng Yue and Zhouxia Wang and Chen Change Loy},
journal= {arXiv preprint arXiv:2406.18516},
year = {2025}
}
备注
Accepted by ICLR2025. Project Page: https://kangliao929.github.io/projects/noise-da/