Learn from Balance: 知识传递在长尾场景中的校正
计算机视觉与模式识别
2024-09-23 v2
摘要
知识蒸馏（KD）将知识从大型预训练教师网络传递给紧凑高效的学生网络，适用于资源受限的媒体终端部署。然而，传统 KD 方法需要平衡数据以确保训练的稳健性，而在实际应用中往往数据不平衡。此时，少数头部类别占据大比例样本，导致教师网络偏向头部类别，严重影响教师和学生网络在尾部类别上的性能。本文提出一种新框架，称为知识校正蒸馏（KRDistill），通过纳入平衡类别先验来纠正教师网络中不平衡的知识。进一步校正教师网络产生的偏置预测，尤其关注尾部类别。因此，教师网络可为训练可靠的学生网络提供平衡且准确的知识。广泛的实验表明，KRDistill 在数据不平衡的真实场景中能够有效训练出可靠的学生网络。
引用
@article{arxiv.2409.07694,
title = {Learn from Balance: Rectifying Knowledge Transfer for Long-Tailed Scenarios},
author = {Xinlei Huang and Jialiang Tang and Xubin Zheng and Jinjia Zhou and Wenxin Yu and Ning Jiang},
journal= {arXiv preprint arXiv:2409.07694},
year = {2024}
}