用于超高清图像恢复的相关性匹配变换Transformer
计算机视觉与模式识别
2024-06-04 v1
摘要
本文提出UHDformer,一种用于超高清(UHD)图像恢复的通用Transformer。UHDformer包含两个学习空间:(a)高分辨率空间学习和(b)低分辨率空间学习。前者学习多级高分辨率特征,融合低-高特征并重建残差图像,而后者则探索从高分辨率特征中学习更具代表性的特征,以促进更好的恢复。为了更好地改善低分辨率空间中的特征表示,我们提出构建从高分辨率空间到低分辨率空间的特征变换。为此,我们提出了两个新模块:双路径相关性匹配变换模块(DualCMT)和自适应通道调制器(ACM)。DualCMT从最大池化/平均池化的高分辨率特征中选择前C/r(r≥1,控制压缩程度)个相关性通道,以替换Transformer中的低分辨率特征,这可以有效压缩无用内容,改善低分辨率空间中的特征表示,从而促进更好的恢复。ACM用于自适应地调制多级高分辨率特征,能够为低分辨率空间提供更有用的特征以进行更好的学习。实验结果表明,与大多数最先进方法相比,我们的UHDformer在3个UHD图像恢复任务(包括低光照图像增强、图像去雾和图像去模糊)上,模型大小减少了约97%,同时在不同的训练集下显著提升了性能。源代码将在https://github.com/supersupercong/UHDformer上提供。
引用
@article{arxiv.2406.00629,
title = {Correlation Matching Transformation Transformers for UHD Image Restoration},
author = {Cong Wang and Jinshan Pan and Wei Wang and Gang Fu and Siyuan Liang and Mengzhu Wang and Xiao-Ming Wu and Jun Liu},
journal= {arXiv preprint arXiv:2406.00629},
year = {2024}
}
备注
AAAI-24; Source codes, datasets, visual results, and pre-trained models are: https://github.com/supersupercong/UHDformer