通过知识回顾进行知识蒸馏
计算机视觉与模式识别
2021-04-20 v1
摘要
知识蒸馏将知识从教师网络转移到学生网络,旨在大幅提升学生网络的性能。先前的方法大多侧重于在同一层级特征之间提出特征变换和损失函数以提高有效性。我们则不同地研究了教师与学生网络之间跨层级的连接路径这一因素,并揭示了其重要性。在知识蒸馏中首次提出了跨阶段连接路径。我们新的回顾机制有效且结构简洁。我们最终设计的嵌套紧凑框架仅需可忽略的计算开销,并在多种任务上优于其他方法。我们将我们的方法应用于分类、目标检测和实例分割任务。它们都见证了学生网络性能的显著提升。代码见https://github.com/Jia-Research-Lab/ReviewKD
引用
@article{arxiv.2104.09044,
title = {Distilling Knowledge via Knowledge Review},
author = {Pengguang Chen and Shu Liu and Hengshuang Zhao and Jiaya Jia},
journal= {arXiv preprint arXiv:2104.09044},
year = {2021}
}
备注
CVPR 2021