面向单图像超分辨率的局部选择性特征蒸馏
图像与视频处理
2021-11-23 v1 计算机视觉与模式识别
摘要
近来基于卷积神经网络(CNN)的单图像超分辨率(SISR)方法的改进严重依赖于构造网络架构,而非寻找除简单最小化回归损失之外的合适训练算法。采用知识蒸馏(KD)可为 SISR 带来进一步改进,并且在模型效率方面也有益。KD 是一种模型压缩方法,它在不使用额外测试参数的情况下提升深度神经网络(DNN)的性能。因其能提供更好的容量-性能权衡,近期备受瞩目。在本文中,我们提出一种适用于 SISR 的新型特征蒸馏(FD)方法。我们展示了现有基于 FitNet 的 FD 方法在 SISR 任务中的局限性,并提出改进现有 FD 算法以聚焦于局部特征信息。此外,我们提出一种基于师生差异的软特征注意力方法,选择性地聚焦于特定像素位置以提取特征信息。我们称我们的方法为局部选择性特征蒸馏(LSFD),并验证我们的方法在 SISR 问题上优于常规 FD 方法。
引用
@article{arxiv.2111.10988,
title = {Local-Selective Feature Distillation for Single Image Super-Resolution},
author = {SeongUk Park and Nojun Kwak},
journal= {arXiv preprint arXiv:2111.10988},
year = {2021}
}
备注
in review