面向通用图像复原的提示中提示学习
计算机视觉与模式识别
2023-12-11 v1
摘要
图像复原旨在恢复和增强退化图像，是广泛应用的基础。尽管传统的深度学习方法在各种任务中显著提升了图像质量，但它们仍然面临（i）针对不同任务特定模型所需的高存储成本，以及（ii）缺乏交互性和灵活性，阻碍了其更广泛的应用。受提示在语言和视觉领域显著成功的启发，我们提出了一种新颖的面向通用图像复原的提示中提示（Prompt-In-Prompt）学习框架，名为PIP。首先，我们提出了两种新颖的提示：一个退化感知提示，用于编码高级退化知识；一个基础复原提示，用于提供必要的低级信息。其次，我们设计了一个新颖的提示到提示交互模块，将这两种提示融合成一个通用的复原提示。第三，我们引入了一个选择性提示到特征交互模块，以调制与退化相关的特征。通过这种方式，生成的PIP作为一个即插即用模块，可以增强现有的复原模型以实现通用图像复原。大量实验结果表明，PIP在多个复原任务上表现出卓越性能，包括图像去噪、去雨、去雾、去模糊和低光增强。值得注意的是，PIP具有可解释性、灵活性、高效性和易用性，显示出在现实世界应用中巨大的潜力。代码可在 https://github.com/longzilicart/pip_universal 获取。
引用
@article{arxiv.2312.05038,
title = {Prompt-In-Prompt Learning for Universal Image Restoration},
author = {Zilong Li and Yiming Lei and Chenglong Ma and Junping Zhang and Hongming Shan},
journal= {arXiv preprint arXiv:2312.05038},
year = {2023}
}