知识蒸馏中参数选择影响的实证研究
机器学习
2024-02-20 v2
摘要
我们进行了一项大规模实证研究，探讨配置参数的选择如何影响知识蒸馏（KD）的性能。此类KD参数的一个例子是教师和学生预测之间距离的度量，常见选择包括均方误差（MSE）和KL散度。尽管已有零散的努力试图理解这些选项之间的差异，但KD文献仍缺乏关于它们对学生性能总体影响的系统研究。本文采用实证方法研究这一问题，旨在探究这些选择在来自4个NLP任务的13个数据集和3种学生模型大小上对学生性能的影响程度。我们量化了做出次优选择的代价，并确定了一种在各类情况下均表现良好的单一配置。
引用
@article{arxiv.2401.06356,
title = {An Empirical Investigation into the Effect of Parameter Choices in Knowledge Distillation},
author = {Md Arafat Sultan and Aashka Trivedi and Parul Awasthy and Avirup Sil},
journal= {arXiv preprint arXiv:2401.06356},
year = {2024}
}