面向真实图像超分辨率的单步有效扩散网络

预训练的文本到图像扩散模型正越来越多地被用于解决真实图像超分辨率（Real-ISR）问题，由于其强大的生成图像先验。大多数现有方法从随机噪声开始，在给定的低质量（LQ）图像的指导下重建高质量（HQ）图像。虽然已取得令人鼓舞的结果，但此类Real-ISR方法需要多个扩散步骤来复现HQ图像，增加了计算成本。同时，随机噪声引入了输出中的不确定性，这不利于图像修复任务。为解决这些问题，我们提出了一个单步有效扩散网络，称为OSEDiff，用于Real-ISR问题。我们认为LQ图像包含丰富的信息来恢复其HQ对应物，因此可以直接将给定的LQ图像作为扩散的起点，从而消除由随机噪声采样引入的不确定性。我们对预训练的扩散网络进行微调，添加可训练层以适应复杂的图像退化。为了确保单步扩散模型能够产生HQ Real-ISR输出，我们在潜在空间中应用变分得分蒸馏进行KL散度正则化。结果，我们的OSEDiff模型可以在仅一个扩散步骤中高效且有效地生成HQ图像。我们的实验表明，OSEDiff在客观指标和主观评估方面，实现了与或甚至比以前需要数十或数百个步骤的扩散模型-based Real-ISR方法相当或更好的Real-ISR结果。源代码已发布于 https://github.com/cswry/OSEDiff。