MWFormer：基于降解感知的多天气图像修复 Transformer
计算机视觉与模式识别
2024-11-27 v1
摘要
在恶劣天气条件下捕获的图像修复是许多计算机视觉应用的基本任务。然而，大多数现有天气修复方法仅能处理特定类型的降解，在现实场景中往往不够充分，例如雨雾天气或雪雾天气。为此，我们提出一种多天气 Transformer，简称 MWFormer，它是一种整体性的视觉 Transformer，旨在使用单一统一的架构解决多种天气引起的降解。MWFormer 使用超网络和特征级线性调制块来恢复由各种天气类型引起的图像降解。我们首先采用对比学习训练一个辅助网络，从而提取内容无关、降解感知的特征嵌入，有效表示预测的天气类型，可能存在多种天气。根据这些天气感知的预测，图像修复 Transformer 会自适应地调制其参数，以应对多种可能的天气，进行局部和全局特征处理。此外，MWFormer 允许在无需重新训练的情况下，以单一天气类型或混合天气类型进行调参，相较于现有方法具有更大的可调性。我们的实验结果表明，在多天气修复基准数据集上，MWFormer 相较于现有最先进的方法在性能上显著提升，而且计算成本也并不高。我们还演示了将超网络方法集成到各种网络架构中以进一步提升性能的可能性。代码已公开：https://github.com/taco-group/MWFormer
关键词
引用
@article{arxiv.2411.17226,
title = {MWFormer: Multi-Weather Image Restoration Using Degradation-Aware Transformers},
author = {Ruoxi Zhu and Zhengzhong Tu and Jiaming Liu and Alan C. Bovik and Yibo Fan},
journal= {arXiv preprint arXiv:2411.17226},
year = {2024}
}
备注
Accepted by IEEE Transactions on Image Processing. The code is available at: https://github.com/taco-group/MWFormer