面向跨设备真实世界图像超分辨率的双重对抗自适应
图像与视频处理
2022-05-10 v1 计算机视觉与模式识别
摘要
由于复杂的成像过程，不同相机拍摄的同一场景可能呈现出不同的成像模式，导致在不同设备图像上训练的超分辨率（SR）模型表现出不同的性能。本文研究了一项新颖且实用的任务，称为跨设备SR，其旨在将一个相机所拍配对图像上训练的真实世界SR模型，自适应到任意目标设备所拍低分辨率（LR）图像上。由于缺少来自各种成像设备的配对数据，所提任务极具挑战性。为此，我们提出了一种用于真实世界SR的无监督域自适应机制，称为双重对抗自适应（DADA），其仅需目标域中的LR图像以及来自源相机的可用真实配对数据。DADA采用域不变注意力（DIA）模块，即使在无高分辨率（HR）监督的情况下也为目标模型训练奠定基础。此外，DADA的双重框架在一个分支中对来自两个域的两张LR输入图像促进域间对抗自适应（InterAA），并在两个分支中对一张LR输入图像促进域内对抗自适应（IntraAA）。InterAA与IntraAA共同提升了模型从源域到目标域的可迁移性。我们在三个不同相机间的六种真实到真实自适应设置下进行了实验，相比现有最先进方法取得了更优性能。我们还评估了所提DADA以应对向摄像机（video camera）的自适应，这为推动真实世界超分辨率的广泛应用提供了一个有前景的研究方向。我们的源代码公开于 https://github.com/lonelyhope/DADA.git。
引用
@article{arxiv.2205.03524,
title = {Dual Adversarial Adaptation for Cross-Device Real-World Image Super-Resolution},
author = {Xiaoqian Xu and Pengxu Wei and Weikai Chen and Mingzhi Mao and Liang Lin and Guanbin Li},
journal= {arXiv preprint arXiv:2205.03524},
year = {2022}
}