Restorer：使用全轴注意力和提示指导消除多类型退化
计算机视觉与模式识别
2024-09-04 v2
摘要
图像修复领域已有许多优秀解决方案，但大多数方法需要单独训练来恢复不同类型退化的图像。虽然现有的全能模型有效地同时解决多种退化类型，但在实际场景中的性能仍受任务混淆问题的限制。本文尝试通过引入一种新型基于Transformer的全能图像修复模型（Restorer）来解决此问题。为了有效处理现实图像中复杂的退化，我们提出了全轴注意力（All-Axis Attention, AAA），该机制同时在空间和通道维度上建模长程依赖，捕获所有轴向的潜在关联。此外，我们在Restorer中引入文本提示，以纳入明确的任务先验，使其能够根据用户指令消除特定类型的退化。通过迭代这些提示，Restorer能够在不需额外训练的情况下处理实际场景中的复合退化。基于这些设计，Restorer以一组参数在多个图像修复任务上实现了与现有全能模型乃至单任务模型相比的领先性能。此外，Restorer在推理期间也很高效，表明其在实际应用中具有潜力。
关键词
引用
@article{arxiv.2406.12587,
title = {Restorer: Removing Multi-Degradation with All-Axis Attention and Prompt Guidance},
author = {Jiawei Mao and Juncheng Wu and Yuyin Zhou and Xuesong Yin and Yuanqi Chang},
journal= {arXiv preprint arXiv:2406.12587},
year = {2024}
}