ProRes：探索用于通用图像复原的退化感知视觉提示
计算机视觉与模式识别
2023-06-26 v1
摘要
图像复原旨在重建退化图像，例如去噪或去模糊。现有工作聚焦于设计任务特定方法，对通用方法的尝试不足。然而，将多个任务简单统一至一个通用架构中会导致不可控且不期望的预测。为解决这些问题，我们在通用架构中探索用于图像复原任务的提示学习。本文中，我们提出退化感知视觉提示，将各类图像退化（如噪声与模糊）编码为统一视觉提示。这些退化感知提示提供了对图像处理的控制，并允许通过加权组合实现定制化图像复原。我们随后利用退化感知视觉提示建立了一个可控且通用的图像复原模型，称为 ProRes，其适用于广泛范围的图像复原任务。ProRes 利用原生 Vision Transformer (ViT) 而无任何任务特定设计。此外，预训练的 ProRes 可通过仅用少量图像的高效提示微调轻松适应新任务。无需额外技巧，ProRes 相较于任务特定方法取得了有竞争力的性能，且实验可证明其可控复原与适应新任务的能力。代码与模型将于 \url{https://github.com/leonmakise/ProRes} 发布。
引用
@article{arxiv.2306.13653,
title = {ProRes: Exploring Degradation-aware Visual Prompt for Universal Image Restoration},
author = {Jiaqi Ma and Tianheng Cheng and Guoli Wang and Qian Zhang and Xinggang Wang and Lefei Zhang},
journal= {arXiv preprint arXiv:2306.13653},
year = {2023}
}