面向单步图像超分辨率的语义引导扩散模型
计算机视觉与模式识别
2025-05-13 v1
摘要
基于扩散的图像超分辨率（SR）方法已展现出卓越的性能。近期进展引入了确定性采样过程，将推理从15个迭代步骤减少到单步，从而显著提升了现有扩散模型的推理速度。然而，由于单步推理，它们在处理复杂语义区域时效率仍然受限。为解决这一局限，我们提出了 SAMSR，一个将语义分割掩码融入采样过程的语义引导扩散框架。具体而言，我们引入了 SAM-Noise 模块，该模块利用分割掩码细化高斯噪声，以保留空间和语义特征。此外，我们开发了一种逐像素采样策略，该策略基于像素级语义权重动态调整残差传递率和噪声强度，在扩散过程中优先处理语义丰富的区域。为了增强模型训练，我们还提出了一种语义一致性损失，用于对齐预测与真实值之间的逐像素语义权重。在真实世界和合成数据集上的大量实验表明，SAMSR 显著提升了感知质量和细节恢复，尤其是在语义复杂的图像中。我们的代码已发布于 https://github.com/Liu-Zihang/SAMSR。
引用
@article{arxiv.2505.07071,
title = {Semantic-Guided Diffusion Model for Single-Step Image Super-Resolution},
author = {Zihang Liu and Zhenyu Zhang and Hao Tang},
journal= {arXiv preprint arXiv:2505.07071},
year = {2025}
}