SSP-IR：面向基于扩散的真实图像恢复的语义与结构先验
计算机视觉与模式识别
2025-02-14 v2
摘要
真实图像恢复是计算机视觉中的一项关键任务，基于扩散的图像恢复模型因其能够生成逼真结果而备受关注。恢复可被视为以先验为条件的可控生成。然而，由于图像退化的严重性，现有的基于扩散的恢复方法无法充分利用低质量图像中的先验，在感知质量、语义保真度和结构准确性方面仍面临诸多挑战。基于这些挑战，我们引入了一种新颖的图像恢复方法 SSP-IR。该方法旨在充分利用低质量图像中的语义和结构先验，以引导扩散模型生成语义忠实且结构准确的自然恢复结果。具体而言，我们结合多模态大语言模型的视觉理解能力（显式）和原始图像的视觉表示（隐式）来获取准确的语义先验。为了提取独立于退化的结构先验，我们引入了一个带有 RGB 和 FFT 约束的处理器，从低质量图像中提取结构先验，以引导扩散模型并防止生成不合理的伪影。最后，我们采用多级注意力机制来整合获取的语义和结构先验。定性和定量结果表明，我们的方法在合成和真实数据集上总体优于其他 SOTA 方法。我们的项目页面为 https://zyhrainbow.github.io/projects/SSP-IR。
引用
@article{arxiv.2407.03635,
title = {SSP-IR: Semantic and Structure Priors for Diffusion-based Realistic Image Restoration},
author = {Yuhong Zhang and Hengsheng Zhang and Zhengxue Cheng and Rong Xie and Li Song and Wenjun Zhang},
journal= {arXiv preprint arXiv:2407.03635},
year = {2025}
}
备注
To be published in IEEE TCSVT