ControlSR：驯服扩散模型以实现一致的真实世界图像超分辨率
计算机视觉与模式识别
2025-04-02 v2
摘要
我们提出ControlSR，一种能够驯服扩散模型以实现一致的真实世界图像超分辨率的新方法。先前的真实世界图像超分辨率模型主要关注如何激活文本到图像扩散模型中更多的生成先验，以使输出的高分辨率图像看起来更好。然而，由于这些方法过度依赖生成先验，输出图像的内容往往与输入的低分辨率图像不一致。为缓解上述问题，在本工作中，我们通过有效利用低分辨率信息，在潜在空间中对ControlNet的控制信号施加更强的约束，从而驯服扩散模型。我们表明，我们的方法可以产生更高质量的控制信号，这使得超分辨率结果与低分辨率图像更加一致，并产生更清晰的视觉结果。此外，我们还提出了一种推理策略，利用低分辨率信息在潜在空间中施加约束，从而同时提高保真度和生成能力。实验表明，我们的模型在多个测试集上的多项指标上均能取得更好的性能，并且与现有方法相比，能生成与低分辨率图像更一致的超分辨率结果。我们的代码可在 https://github.com/HVision-NKU/ControlSR 获取。
引用
@article{arxiv.2410.14279,
title = {ControlSR: Taming Diffusion Models for Consistent Real-World Image Super Resolution},
author = {Yuhao Wan and Peng-Tao Jiang and Qibin Hou and Hao Zhang and Jinwei Chen and Ming-Ming Cheng and Bo Li},
journal= {arXiv preprint arXiv:2410.14279},
year = {2025}
}