用于校正超分辨率卷积神经网络的自监督微调
图像与视频处理
2020-06-16 v3 机器学习
机器学习
摘要
尽管为图像与视频超分辨率（SR）训练的卷积神经网络（CNNs）不断取得新的最先进性能，它们也存在显著的缺陷。其局限之一是对训练时未见的图像形成模型缺乏鲁棒性。其他局限包括在为 SR 训练生成对抗网络（GANs）时产生伪影与幻觉内容。虽然深度学习文献侧重于提出新的训练方案与设置以解决这些各类问题，我们表明可以免去训练，并以完全自监督微调方法来校正 SR 结果。更具体地，在测试时，给定一幅图像及其已知的图像形成模型，我们对训练好的网络参数进行微调，并使用数据保真度损失迭代更新它们。我们将微调算法应用于多个图像与视频 SR CNN，并表明它可完全依赖测试时的内部学习，成功校正次优的 SR 解。我们将方法应用于未见图像形成模型的微调问题以及 GAN 引入伪影的去除。
引用
@article{arxiv.1912.12879,
title = {Self-supervised Fine-tuning for Correcting Super-Resolution Convolutional Neural Networks},
author = {Alice Lucas and Santiago Lopez-Tapia and Rafael Molina and Aggelos K. Katsaggelos},
journal= {arXiv preprint arXiv:1912.12879},
year = {2020}
}
备注
15 pages, 11 figures