利用受控视觉语言模型进行自然环境下的逼真图像复原
计算机视觉与模式识别
2024-04-16 v1
摘要
尽管扩散模型已成功应用于各种图像复原（IR）任务，但其性能对训练数据集的选择很敏感。通常，在特定数据集上训练的扩散模型无法复原具有分布外退化的图像。为了解决这个问题，本工作利用强大的视觉语言模型和合成退化流程来学习自然环境下的图像复原。更具体地说，所有低质量图像都是通过包含模糊、缩放、噪声和JPEG压缩等多种常见退化的合成退化流程来模拟的。然后，我们引入对退化感知 CLIP 模型的鲁棒训练，以提取丰富的图像内容特征来辅助高质量图像复原。我们的基础扩散模型是图像复原 SDE（IR-SDE）。在此基础之上，我们进一步提出了一种用于快速无噪声图像生成的后验采样策略。我们在合成和真实世界退化数据集上评估了我们的模型。此外，在统一图像复原任务上的实验表明，所提出的后验采样提高了各种退化下的图像生成质量。
引用
@article{arxiv.2404.09732,
title = {Photo-Realistic Image Restoration in the Wild with Controlled Vision-Language Models},
author = {Ziwei Luo and Fredrik K. Gustafsson and Zheng Zhao and Jens Sjölund and Thomas B. Schön},
journal= {arXiv preprint arXiv:2404.09732},
year = {2024}
}
备注
CVPRW 2024; Code: https://github.com/Algolzw/daclip-uir