群相对知识蒸馏：从教师的关系归纳偏置中学习
机器学习
2025-04-30 v1 人工智能
摘要
知识蒸馏通常通过最小化教师模型和学生模型输出分布之间的差异来传输知识。然而，现有的蒸馏方法主要关注模拟绝对概率，忽略教师相对预测中嵌入的有价值关系归纳偏置，导致暴露偏差。在本文中，我们提出群相对知识蒸馏(GRKD)，一种新框架，通过学习类之间相对排序来蒸馏教师知识，而非直接拟合绝对分布。具体而言，我们引入一种群相对损失，鼓励学生模型保留由教师输出提供的两两偏好排序。大量实验在分类基准测试上表明，GRKD在现有方法中实现了优越的泛化性能，尤其在需要精细类别区分的任务中效果显著。我们的方法为探索教师知识提供了新的视角，关注关系结构而非绝对概率。
引用
@article{arxiv.2504.20482,
title = {Group Relative Knowledge Distillation: Learning from Teacher's Relational Inductive Bias},
author = {Chao Li and Changhua Zhou and Jia Chen},
journal= {arXiv preprint arXiv:2504.20482},
year = {2025}
}