循环知识蒸馏
计算机视觉与模式识别
2018-05-21 v1
摘要
知识蒸馏通过让小型学生网络从大型教师网络学习来压缩深度网络。知识蒸馏的准确率近来因添加残差层而受益。我们提出通过将教师网络中的多个残差层重构为单个循环学生层，来进一步减小学生网络的规模。我们提出三种向学生网络中添加循环连接的变体，并在 CIFAR-10、Scenes 和 MiniPlaces 上的实验表明，我们能在精度损失很小的情况下减少参数数量。
引用
@article{arxiv.1805.07170,
title = {Recurrent knowledge distillation},
author = {Silvia L. Pintea and Yue Liu and Jan C. van Gemert},
journal= {arXiv preprint arXiv:1805.07170},
year = {2018}
}
备注
International Conference on Image Processing (ICIP), 2018