渐进蒸馏诱导隐式课程
机器学习
2024-10-10 v1
摘要
知识蒸馏利用教师模型改进学生模型的训练。一个持久的挑战在于，更好的教师不一定总是导致更好的学生，常用的缓解方法是使用来自几个“中间”教师的额外监督。一个经验验证的这一原则变体是渐进蒸馏，其中学生从教师的 successive 中间检查点学习。在稀疏奇偶校验作为沙箱，我们识别出一种隐式课程作为加速学生学习的一种机制。这种课程仅通过中间检查点可用而非最终收敛的，为学生提供了经验加速和可证明的样本复杂度收益。我们随后将调查扩展到在概率上下文无关语法 (PCFGs) 和真实世界预训练数据集 (Wikipedia 和 Books) 上训练的 Transformer。通过探测教师模型，我们识别出一种类似的隐式课程，其中模型逐渐学习捕获更长上下文的特征。我们的理论和经验发现在稀疏奇偶校验，结合对更复杂任务的经验观察，突显了通过隐式课程实现的渐进蒸馏在各种设置中的好处。
引用
@article{arxiv.2410.05464,
title = {Progressive distillation induces an implicit curriculum},
author = {Abhishek Panigrahi and Bingbin Liu and Sadhika Malladi and Andrej Risteski and Surbhi Goel},
journal= {arXiv preprint arXiv:2410.05464},
year = {2024}
}