利用特权信息的高效图像超分辨率学习
计算机视觉与模式识别
2020-07-16 v1
摘要
卷积神经网络(CNNs)在过去十年中令单图像超分辨率(SISR)取得显著进展。多数基于 CNN 的 SR 方法聚焦于在质量指标(如 PSNR 与 SSIM)上相较经典方法获得性能增益,它们通常需要大量内存与计算单元。FSRCNN 由极少卷积层构成,在使用极少量网络参数的同时已展现出可喜结果。本文我们引入一种由教师与学生网络组成的新型蒸馏框架,可大幅提振 FSRCNN 的性能。为此,我们提议使用真值高分辨率(HR)图像作为特权信息。教师中的编码器借助模仿损失学习 HR 图像的退化过程(下采样)。学生与教师中的解码器具有与 FSRCNN 相同的网络架构,试图重建 HR 图像。解码器中学生可学习的中间特征通过特征蒸馏迁移给学生。在标准基准上的实验结果证明了我们框架的有效性及泛化能力,其显著提升了 FSRCNN 及其他 SR 方法的性能。我们的代码与模型在线可用:https://cvlab.yonsei.ac.kr/projects/PISR。
引用
@article{arxiv.2007.07524,
title = {Learning with Privileged Information for Efficient Image Super-Resolution},
author = {Wonkyung Lee and Junghyup Lee and Dohyung Kim and Bumsub Ham},
journal= {arXiv preprint arXiv:2007.07524},
year = {2020}
}
备注
ECCV-2020