基于频率提示引导的Transformer图像修复方法——探索未被看见的特征
计算机视觉与模式识别
2024-04-02 v1
摘要
如何从图像中挖掘作为提示来指导深度图像修复模型的有用特征是一种有效的方法，以解决图像修复问题。与从图像中挖掘空间关系作为提示不同，后者导致不同频率的特征被忽略，从而在修复后的图像中残留细微或不可检测的伪影。我们发展了一种频率提示图像修复方法，称为FPro（Frequency Prompting），它可以有效地从频率视角提供提示组件来指导修复模型处理这些差异。具体而言，我们首先通过动态学习的滤波器将输入特征分解为独立的频率部分，其中我们引入一种门控机制来抑制内核中较少有信息的元素。为传递有用的频率信息作为提示，我们然后提出了双重提示模块，包括低频提示调制器(Low-Frequency Prompt Modulator, LPM)和高频提示调制器(High-Frequency Prompt Modulator, HPM)，分别处理来自不同频段的信号。每个调制器包含一个生成过程，用于将提示组件整合到提取的频率图中，以及一个调制部分，利用解码器特征的指导修改提示特征。在常用基准测试上的实验结果表明，我们的管道在5项图像修复任务上（包括去雨、去雨滴、去斑纹、去模糊和去雾）均优于SOTA方法。源代码和预训练模型将在https://github.com/joshyZhou/FPro提供。
关键词
引用
@article{arxiv.2404.00288,
title = {Seeing the Unseen: A Frequency Prompt Guided Transformer for Image Restoration},
author = {Shihao Zhou and Jinshan Pan and Jinglei Shi and Duosheng Chen and Lishen Qu and Jufeng Yang},
journal= {arXiv preprint arXiv:2404.00288},
year = {2024}
}
备注
18 pages, 10 figrues