中文

RAP-SR:扩散模型中用于真实图像超分辨率的修复先验增强

计算机视觉与模式识别 2024-12-11 v1

摘要

得益于其强大的生成能力,预训练扩散模型在真实图像超分辨率(Real-SR)领域获得了广泛关注。现有的基于扩散的超分辨率方法通常利用退化图像中的语义信息和修复提示来激活先验,以生成逼真的高分辨率图像。然而,未针对修复任务设计的通用预训练扩散模型往往具有次优的先验,且手动定义的提示可能无法充分挖掘生成的潜力。为解决这些局限,我们提出了 RAP-SR,一种在预训练扩散模型中用于真实图像超分辨率的修复先验增强方法。首先,我们开发了高保真美学图像数据集(HFAID),通过质量驱动的美学图像选择流水线(QDAISP)进行策展。我们的数据集不仅在保真度上超越现有数据集,在美学质量方面也表现出色。其次,我们提出了修复先验增强框架,包含修复先验精炼(RPR)和面向修复的提示优化(ROPO)模块。RPR 利用 HFAID 精炼修复先验,而 ROPO 优化独特的修复标识符,提升生成图像的质量。RAP-SR 通过增强修复先验,有效弥合了通用模型与真实图像超分辨率需求之间的差距。利用 RAP-SR 的即插即用特性,我们的方法可以无缝集成到现有的基于扩散的超分辨率方法中,提升其性能。广泛的实验证明了其广泛的适用性和最先进的结果。代码和数据集将在接受后公开。

关键词

引用

@article{arxiv.2412.07149,
  title  = {RAP-SR: RestorAtion Prior Enhancement in Diffusion Models for Realistic Image Super-Resolution},
  author = {Jiangang Wang and Qingnan Fan and Jinwei Chen and Hong Gu and Feng Huang and Wenqi Ren},
  journal= {arXiv preprint arXiv:2412.07149},
  year   = {2024}
}

备注

15 pages, 12 figures