指代灵活图像恢复
计算机视觉与模式识别
2024-04-17 v1 多媒体
摘要
现实中，图像常表现出多种退化，例如夜晚的雨和雾（三重退化）。然而，在许多情况下，人们可能不想去除所有退化，例如，模糊的镜头展现出美丽的雪景（双重退化）。在这种情况下，人们可能只希望去模糊。这些情况和需求揭示了图像恢复中的一个新挑战，即模型必须感知并根据人类指令去除具有多种退化的图像中的特定退化类型。我们将此任务称为指代灵活图像恢复(RFIR)。为解决此问题，我们首先构建了一个大规模合成数据集RFIR，包含153,423个样本，每个样本包括退化图像、用于特定退化去除的文本提示和恢复后的图像。RFIR包含五种基本退化类型：模糊、雨、雾、低光照和雪，同时包含六个主要子类别以处理不同程度的退化去除。为应对这一挑战，我们提出了一种新颖的基于Transformer的多任务模型TransRFIR，该模型同时感知退化图像中的退化类型并根据文本提示去除特定退化。TransRFIR基于两个设计的注意力模块：多头代理自注意力(MHASA)和多头代理交叉注意力(MHACA)，其中MHASA和MHACA引入代理令牌并达到线性复杂度，相比普通自注意力和交叉注意力计算成本更低，同时获得有竞争力的性能。我们的TransRFIR与其他方法相比取得了最先进的性能，并被证明是图像恢复的有效架构。我们在https://github.com/GuanRunwei/FIR-CP发布了项目。
引用
@article{arxiv.2404.10342,
title = {Referring Flexible Image Restoration},
author = {Runwei Guan and Rongsheng Hu and Zhuhao Zhou and Tianlang Xue and Ka Lok Man and Jeremy Smith and Eng Gee Lim and Weiping Ding and Yutao Yue},
journal= {arXiv preprint arXiv:2404.10342},
year = {2024}
}
备注
15 pages, 19 figures