基于提示的数据成分导向全合一图像复原

图像复原旨在从退化观测中恢复高质量图像。由于大多数现有方法致力于单一退化去除，它们在其他类型退化上可能无法产生最优结果，无法满足真实场景中的应用需求。本文提出一种新颖的数据成分导向方法，利用基于提示的学习使单一模型高效处理多种图像退化任务。具体而言，我们使用编码器提取特征，并引入带有退化特定信息的提示来引导解码器自适应地恢复受各类退化影响的图像。为建模高质量图像复原中的局部不变特性与非局部信息，我们结合了 CNN 操作与 Transformers。同时，我们在 Transformer 模块中作了若干关键设计（带提示的多头重排注意力与简单门控前馈网络）以降低计算需求，并选择性地决定应保留哪些信息以促进潜在清晰图像的高效恢复。此外，我们引入特征融合机制进一步挖掘多尺度信息以改善聚合特征。由此得到的紧密互联的层次化架构称为 CAPTNet，大量实验表明我们的方法具有与当前最优方法相竞争的性能。