基于图像修复的类内类间解析器提示变换器
计算机视觉与模式识别
2025-03-19 v1
摘要
我们提出了类内类间解析器提示变换器（PPTformer），探索从视觉基础模型中获取有用特征用于图像修复。具体而言，PPTformer包含两个部分：用于从退化观测中恢复图像的图像修复网络（IRNet），以及提供可靠解析器信息以提升修复效果的解析器提示特征生成网络（PPFGNet）。为增强解析器在IRNet中的集成，我们提出了类内解析器提示注意力（IntraPPA）和类间解析器提示注意力（InterPPA），以隐式和显式方式学习有用的解析器特征以促进修复。类内PPA重新考虑解析器与修复特征之间的跨注意力，使系统能够从长程和层内视角隐式感知解析器。相反，类间PPA最初将修复特征与解析器特征进行融合，然后在注意力机制中对这些融合特征进行建模，以显式感知解析器信息。进一步，我们提出了解析器提示前馈网络，以用于像素级门控调制指导修复。实验结果表明，PPTformer在图像去雨、去焦散景深去雪和低光增强等任务上实现了最先进的性能。
引用
@article{arxiv.2503.14037,
title = {Intra and Inter Parser-Prompted Transformers for Effective Image Restoration},
author = {Cong Wang and Jinshan Pan and Liyan Wang and Wei Wang},
journal= {arXiv preprint arXiv:2503.14037},
year = {2025}
}
备注
This version is accepted by the Association for the Advancement of Artificial Intelligence (AAAI-25)