基于稀疏表示匹配的知识蒸馏
计算机视觉与模式识别
2021-04-01 v1
摘要
知识蒸馏（KD）指的是一类将知识从教师网络迁移到学生网络的方法。本文中，我们提出稀疏表示匹配（SRM），一种通过利用稀疏表示学习将从一个卷积神经网络（CNN）获得的中间知识迁移到另一个网络的方法。SRM首先提取教师CNN隐藏特征的稀疏表示，然后用于生成像素级和图像级标签以训练学生网络的中间特征图。我们将SRM表述为一个神经处理模块，可使用随机梯度下降高效优化，并以即插即用的方式集成到任何CNN中。我们的实验表明，SRM对教师和学生网络之间的架构差异具有鲁棒性，并在多个数据集上优于其他KD技术。
引用
@article{arxiv.2103.17012,
title = {Knowledge Distillation By Sparse Representation Matching},
author = {Dat Thanh Tran and Moncef Gabbouj and Alexandros Iosifidis},
journal= {arXiv preprint arXiv:2103.17012},
year = {2021}
}
备注
9 pages