基于元知识蒸馏学习知识表示的图像超分辨率方法
计算机视觉与模式识别
2022-07-19 v1
摘要
知识蒸馏(KD)能够高效地将知识从笨重网络（教师）迁移到紧凑网络（学生），已在一些计算机视觉应用中展现出优势。知识的表示对于知识迁移与学生学习至关重要，其通常以手工设计方式定义或直接采用中间特征。本文提出一种在教师-学生架构下面向单图像超分辨率任务的模型无关的元知识蒸馏方法。它通过带可学习参数的知识表示网络(KRNets)提供了一种更灵活且准确的方式，依据学生能力辅助教师传递知识。为提升知识表示对学生需求的感知能力，我们提出在KRNets中利用学生特征及师生间相关性来求解从中间输出到迁移知识的转换过程。具体而言，生成纹理感知动态核，进而提取待改进的纹理特征及相应教师引导，从而将蒸馏问题分解为纹理级监督，以进一步促进高频细节的恢复质量。此外，KRNets以元学习方式进行优化，以确保知识迁移与学生学习有利于提升学生的重建质量。在多个单图像超分辨率数据集上的实验表明，所提方法优于现有已定义知识表示相关的蒸馏方法，且能在不引入任何推理复杂度的前提下帮助超分辨率算法获得更好的重建质量。
引用
@article{arxiv.2207.08356,
title = {Learning Knowledge Representation with Meta Knowledge Distillation for Single Image Super-Resolution},
author = {Han Zhu and Zhenzhong Chen and Shan Liu},
journal= {arXiv preprint arXiv:2207.08356},
year = {2022}
}