面向真实图像超分辨率与个性化风格化的像素感知稳定扩散
计算机视觉与模式识别
2024-07-10 v4
摘要
扩散模型已在各种图像生成、编辑、增强与翻译任务中展现出令人印象深刻的性能。特别是，预训练的文本到图像稳定扩散模型凭借其强大的生成先验，为极具挑战的真实图像超分辨率（Real-ISR）与图像风格化问题提供了潜在解决方案。然而，此类现有方法往往无法保持忠实的像素级图像结构。若使用 VAE 编码器与解码器之间的额外跳跃连接来复现细节，则需要在图像空间进行额外训练，限制了该方法在潜空间任务（如图像风格化）中的应用。在本工作中，我们提出一种像素感知稳定扩散（PASD）网络，以实现鲁棒的真实图像超分辨率与个性化图像风格化。具体而言，引入像素感知交叉注意力模块使扩散模型在像素级感知图像局部结构，同时采用退化去除模块提取对退化不敏感的特征，与图像高层信息共同引导扩散过程。引入可调噪声调度以进一步改善图像复原结果。通过简单地将基础扩散模型替换为风格化模型，PASD 可在无需收集成对训练数据的情况下生成多样化风格化图像；通过将基础模型替换为美学模型，PASD 可使老照片焕发生机。在多种图像增强与风格化任务上的大量实验证明了我们所提 PASD 方法的有效性。我们的源代码发布于 \url{https://github.com/yangxy/PASD/}。
引用
@article{arxiv.2308.14469,
title = {Pixel-Aware Stable Diffusion for Realistic Image Super-resolution and Personalized Stylization},
author = {Tao Yang and Rongyuan Wu and Peiran Ren and Xuansong Xie and Lei Zhang},
journal= {arXiv preprint arXiv:2308.14469},
year = {2024}
}