学生大语言模型能否表现如其教师般好？
机器学习
2023-10-05 v1 人工智能
计算与语言
摘要
当代深度学习模型复杂度激增，虽取得了前所未有的准确率，却无意中在资源受限环境中引入了部署挑战。知识蒸馏旨在将知识从高容量“教师”模型迁移至精简“学生”模型，成为解决该困境的一种有前景的方案。本文全面概述了知识蒸馏范式，强调其基础原理，如软标签的效用与温度缩放的重要性。通过细致考察，我们阐明了成功蒸馏的关键决定因素，包括学生模型架构、教师模型水准以及超参数的精细平衡。在肯定其深远优势的同时，我们也深入探讨了该过程固有的复杂性与挑战。我们的探索凸显了知识蒸馏作为一种关键技术，在优化模型性能与部署效率权衡方面的潜力。
引用
@article{arxiv.2310.02421,
title = {Can a student Large Language Model perform as well as it's teacher?},
author = {Sia Gholami and Marwan Omar},
journal= {arXiv preprint arXiv:2310.02421},
year = {2023}
}