通过非配对退化条件扩散模型重新思考真实世界图像去雨

近期的扩散模型在生成建模任务中展现出巨大潜力。其部分成功可归因于能够在大规模配对合成数据上稳定训练。然而，将这些模型适配到真实世界图像去雨仍面临两方面困难。首先，收集大规模配对真实世界干净/下雨图像数据集不可行，而常规条件扩散模型严重依赖配对数据进行训练。其次，真实世界雨通常反映具有多种未知雨退化类型的真实场景，这对生成建模过程构成重大挑战。为应对这些挑战，我们提出 RainDiff，这是首个基于扩散模型的真实世界图像去雨范式，可作为真实世界图像去雨的新标准标杆。我们通过引入一种稳定且非对抗的非配对循环一致架构来解决第一个挑战，该架构可仅以非配对数据作为监督进行端到端训练；并通过提出一种退化条件扩散模型来解决第二个挑战，该模型通过由多种雨退化的学习先验所条件的扩散生成过程来精炼期望输出。大量实验证实了我们的 RainDiff 相对于现有非配对/半监督方法的优越性，并显示出其相对于几种全监督方法的竞争优势。