基于小波增强Transformer的 Uncertainty-Aware 无源自适应图像超分辨率
计算机视觉与模式识别
2024-03-21 v5
摘要
无监督域适应(UDA)通过访问源域和目标域数据,能够有效解决真实世界图像超分辨率(SR)中的域间隙问题。考虑到实际场景中源数据的隐私策略或传输限制,我们提出了一种用于图像SR的无源域适应框架(SODA-SR)来解决该问题,即仅使用无标签目标数据将源域训练的模型适应到目标域。SODA-SR利用源域训练模型为师生学习生成精炼的伪标签。为了更好地利用伪标签,我们提出了一种新颖的基于小波的增强方法,称为小波增强Transformer(WAT),它可灵活地与现有网络结合,以隐式地产生有用的增强数据。WAT学习不同样本间多层次的低频信息,并通过可变形注意力高效聚合。此外,提出了一种不确定性感知自训练机制,通过不确定性估计纠正不准确的预测,以提高伪标签的准确性。为了获得更好的SR结果并避免对伪标签过拟合,提出了若干正则化损失以在频域约束目标低分辨率(LR)和SR图像。实验表明,在不访问源数据的情况下,SODA-SR在合成→真实和真实→真实适应设置中均优于最先进的UDA方法,且不受特定网络架构的约束。
引用
@article{arxiv.2303.17783,
title = {Uncertainty-Aware Source-Free Adaptive Image Super-Resolution with Wavelet Augmentation Transformer},
author = {Yuang Ai and Xiaoqiang Zhou and Huaibo Huang and Lei Zhang and Ran He},
journal= {arXiv preprint arXiv:2303.17783},
year = {2024}
}
备注
11 pages, 7 figures, 3 tables