中文

CDFormer: 当退化预测拥抱扩散模型以实现盲目图像超分辨率

计算机视觉与模式识别 2024-07-02 v2 图像与视频处理

摘要

现有的盲目图像超分辨率(BSR)方法关注估计 kernel 或退化信息,但长期忽视了关键内容细节。本文提出一种新颖的 BSR 方法,Content-aware Degradation-driven Transformer(CDFormer),以捕获退化和内容表示。然而,低分辨率图像无法提供足够的内容细节,因此我们引入基于扩散的模块 CDFormerdiffCDFormer_{diff} 以首先在低分辨率和高分辨率图像中学习 Content Degradation Prior(CDP),然后仅使用低分辨率信息逼近真实分布。此外,我们应用自适应 SR 网络 CDFormerSRCDFormer_{SR} 有效地利用 CDP 来细化特征。与以往基于扩散的 SR 方法相比,我们将扩散模型视为可以克服昂贵采样时间和过度多样性限制的估计器。实验表明,CDFormer 在各种基准下的盲目设置下性能优于现有方法,树立了新的最先进性能。代码和模型将在 \href{https://github.com/I2-Multimedia-Lab/CDFormer}{https://github.com/I2-Multimedia-Lab/CDFormer} 提供。

关键词

引用

@article{arxiv.2405.07648,
  title  = {CDFormer:When Degradation Prediction Embraces Diffusion Model for Blind Image Super-Resolution},
  author = {Qingguo Liu and Chenyi Zhuang and Pan Gao and Jie Qin},
  journal= {arXiv preprint arXiv:2405.07648},
  year   = {2024}
}