[复现] 通过知识回顾进行知识蒸馏

本工作旨在复现Chen等人发表于CVPR '21的论文《通过知识回顾进行知识蒸馏》中提出的知识蒸馏回顾框架的实验结果并分析其鲁棒性。知识蒸馏的先前工作仅研究了学生与教师同层级之间的连接路径，而未考虑跨层级连接路径。Chen等人提出了一种新的残差学习框架，利用多个教师层训练单个学生层。他们还设计了一种新颖的融合模块以压缩跨层级特征图，以及一种损失函数以比较存储在不同层级中的特征信息从而提升性能。在本工作中，我们一致地验证了原论文所报道的各类学生模型测试精度的提升，并通过消融实验与新实验研究了所引入新颖模块的有效性。