AllRestorer：面向复合退化的全能型图像修复 Transformer
计算机视觉与模式识别
2024-11-19 v1
摘要
图像修复模型在现实场景中常面临多种退化的同时交互。现有方法通常基于文本或图像嵌入衍生的场景描述符处理单一或复合退化。然而，由于图像中不同退化的比例各异，这些场景描述符可能无法准确区分退化，导致实际应用中修复效果欠佳。为解决此问题，我们提出一种基于 Transformer 的新型修复框架 AllRestorer。AllRestorer 使模型能自适应地考虑所有图像损伤，从而避免场景描述符误导带来的错误。具体而言，我们引入全能型 Transformer 块（AiOTB），通过在潜在空间建模所有退化与图像嵌入的关系，自适应地去除给定图像中存在的所有退化。为准确应对同一类退化内部可能存在的不同变化并最小化歧义，AiOTB 利用包含图像和文本嵌入的复合场景描述符来定义退化。此外，AiOTB 为每种退化包含一个自适应权重，从而精确控制修复强度。借助 AiOTB，AllRestorer 避免了不准确场景描述符造成的误导，在 CDD-11 数据集上比基线实现了 5.00 dB 的 PSNR 提升。
引用
@article{arxiv.2411.10708,
title = {AllRestorer: All-in-One Transformer for Image Restoration under Composite Degradations},
author = {Jiawei Mao and Yu Yang and Xuesong Yin and Ling Shao and Hao Tang},
journal= {arXiv preprint arXiv:2411.10708},
year = {2024}
}
备注
12 pages, 11 figures