学生助教师：通过自知识蒸馏的教师进化
计算机视觉与模式识别
2021-10-14 v3 机器学习
摘要
知识蒸馏通常将知识从预训练的笨重教师网络迁移到紧凑的学生网络，遵循经典的教师教学生的范式。基于该范式，以往方法大多关注如何高效训练更好的学生网络以供部署。与现有做法不同，本文提出一种新颖的学生助教师的公式，即通过自知识蒸馏的教师进化（TESKD），其中目标教师（用于部署）借助多个分层学生通过共享结构骨干网络进行学习。来自多个学生的多样化反馈使教师能够通过共享特征表示改进自身。我们提出的框架的有效性通过在使用 CIFAR-100 和 ImageNet 两个标准基准的各种网络设置下的大量实验得到证明。值得注意的是，当使用我们提出的方法一起训练时，ResNet-18 在 CIFAR-100 和 ImageNet 上分别达到 79.15% 和 71.14% 的准确率，分别优于基线结果 4.74% 和 1.43%。代码见：https://github.com/zhengli427/TESKD。
引用
@article{arxiv.2110.00329,
title = {Student Helping Teacher: Teacher Evolution via Self-Knowledge Distillation},
author = {Zheng Li and Xiang Li and Lingfeng Yang and Jian Yang and Zhigeng Pan},
journal= {arXiv preprint arXiv:2110.00329},
year = {2021}
}