基于预览的类别对比学习知识蒸馏

知识蒸馏是通过将来大模型（教师） transferring 知识给小模型（学生）以提高学生性能的主流算法。尽管已有许多努力，但现有方法主要研究实例级特征表示或预测之间的一致性，忽略了类别级信息以及每个样本的难度，导致性能不佳。为此，我们提出一种新颖的基于预览的类别对比学习方法，用于知识蒸馏（PCKD）。它首先以对比学习方式蒸馏实例级特征对应关系以及实例特征与类别中心之间的关系，这可以显式优化类别表示，探索实例特征与类别之间的不同关联，从而促进判别性的类别中心和更好的分类结果。此外，我们引入一种新颖的预览策略，动态确定学生应从每个样本中学习多少知识，根据其难度。与现有方法对所有样本平等对待，或仅筛选难样本的课程学习不同，本方法对难实例赋予较小权重，以更好地引导学生训练。广泛的实验表明，在包括CIFAR-100和ImageNet在内的多个具有挑战性的数据集上，PCKD的优势超过了最先进的方法。