交互式知识蒸馏
计算机视觉与模式识别
2021-04-16 v3 机器学习
摘要
知识蒸馏是一种标准的师生学习框架，在训练有素的大型教师网络的指导下训练轻量级学生网络。作为一种有效的教学策略，互动式教学在学校中被广泛用于激励学生，教师不仅提供知识，还根据学生的回答给予建设性反馈，以提高他们的学习表现。在这项工作中，我们提出了一种交互式知识蒸馏(IAKD)方案，利用互动式教学策略进行高效的知识蒸馏。在蒸馏过程中，教师网络和学生网络之间的交互通过交换输入操作实现：随机将学生网络中的块替换为教师网络中相应的块。通过这种方式，我们直接利用教师强大的特征变换能力来大幅提升学生的表现。在典型的师生网络设置下进行的实验表明，通过我们的IAKD训练的学生网络在各种图像分类数据集上比通过传统知识蒸馏方法训练的学生网络取得了更好的性能。
引用
@article{arxiv.2007.01476,
title = {Interactive Knowledge Distillation},
author = {Shipeng Fu and Zhen Li and Jun Xu and Ming-Ming Cheng and Zitao Liu and Xiaomin Yang},
journal= {arXiv preprint arXiv:2007.01476},
year = {2021}
}
备注
This work (IAKD) and BERT-of-Theseus (see arXiv:2002.02925) are concurrent works. IAKD was first submitted to CVPR2020 and now is accepted in Neurocomputing. Thank the authors in BERT-of-Theseus for pointing out this issue