超分辨率中的测试时自适应:仅需再过拟合少量图像
计算机视觉与模式识别
2021-04-07 v1
摘要
现有的基于参考图像(RF)的超分辨率(SR)模型试图在以下假设下改善 SR 的感知质量:测试时有与低分辨率(LR)输入配对的高分辨率 RF 图像可用。由于 RF 图像在内容、颜色、对比度等方面应与测试图像相似,这阻碍了其在真实场景中的适用性。其他提高图像感知质量的方法,包括感知损失和对抗损失,往往通过 PSNR/SSIM 的显著下降而大幅降低对真值的保真度。针对这两个问题,我们提出了一种简单而通用的方法,通过在训练数据集中与初始 HR 预测在特征提取器滤波器上激活模式相似的图像子集上进一步微调 SR 网络,来改善给定 LR 输入下预训练 SR 网络 HR 预测的感知质量。特别地,我们展示了在这些图像上微调对感知质量和 PSNR/SSIM 值的影响。与感知驱动的方法相反,我们证明微调后的网络产生的 HR 预测具有更好的感知质量,且相对于初始 HR 预测 PSNR/SSIM 的变化最小。此外,我们提出了关于 SR 网络滤波器的新颖数值实验,通过滤波器相关性表明,我们方法微调后的网络的滤波器比基线网络或在随机图像上微调的网络更接近“理想”滤波器。
引用
@article{arxiv.2104.02663,
title = {Test-Time Adaptation for Super-Resolution: You Only Need to Overfit on a Few More Images},
author = {Mohammad Saeed Rad and Thomas Yu and Behzad Bozorgtabar and Jean-Philippe Thiran},
journal= {arXiv preprint arXiv:2104.02663},
year = {2021}
}