教师偏见之外的学生？基于偏差校正的知识蒸馏
计算机视觉与模式识别
2024-12-16 v1
摘要
知识蒸馏（KD）是一种将来自大型教师模型的知识传递给较小学生模型以提升性能的模型压缩技术。现有方法常假设学生模型本质上劣于教师模型。然而，我们识别到影响学生性能的根本问题是教师传递的偏见。当前的KD框架同时传输正确与错误的知识，引入偏见导致学生模型受误导。为解决此问题，我们提出一种纠正偏见的新策略，显著提升学生模型性能。我们的策略包含三个步骤：首先，我们区分知识并设计偏差消除方法过滤偏见，仅保留学生模型学习的正确知识。接着，我们提出偏差校正方法纠正教师模型的错误预测，从根本上解决偏见干扰。学生模型同时学习正确知识和校正后的偏见，显著提升预测准确性。此外，我们引入动态学习方法，设计可动态更新权重的损失函数，使学生模型最初快速学习正确知识的易任务，后续解决与偏见相关的难任务，大幅提升学习效率。据我们所知，这是首个使学生模型超越教师模型的策略。实验表明，作为即插即用模块，本策略在各种主流KD框架中均具有广泛适用性。我们将在论文被接受后发布代码。
引用
@article{arxiv.2412.09874,
title = {Can Students Beyond The Teacher? Distilling Knowledge from Teacher's Bias},
author = {Jianhua Zhang and Yi Gao and Ruyu Liu and Xu Cheng and Houxiang Zhang and Shengyong Chen},
journal= {arXiv preprint arXiv:2412.09874},
year = {2024}
}