知识蒸馏 ≈ 标签平滑:事实还是谬误?
机器学习
2023-10-26 v4 计算与语言
摘要
知识蒸馏(KD)最初是作为一种从一模型向另一模型进行知识迁移的方法提出的,但近期一些研究认为 KD 实际上是一种正则化形式。或许支持这一新视角的最有力论据来自其与标签平滑(LS)的明显相似性。在此,我们通过比较二者所训练模型的预测置信度,重新审视这一所谓等价性。在涉及不同规模模型的四项文本分类任务上的实验表明:(a) 在大多数设置下,KD 与 LS 对模型置信度的驱动方向完全相反;(b) 在 KD 中,学生不仅从教师继承知识,还继承其置信度,这强化了经典的知识迁移观点。
引用
@article{arxiv.2301.12609,
title = {Knowledge Distillation $\approx$ Label Smoothing: Fact or Fallacy?},
author = {Md Arafat Sultan},
journal= {arXiv preprint arXiv:2301.12609},
year = {2023}
}
备注
EMNLP 2023