特权学生：初始化在多语言知识蒸馏中的价值
计算与语言
2024-11-11 v2
摘要
知识蒸馏（KD）已被证明是提高许多 NLP 任务中小模型性能的成功策略。然而，KD 的大多数工作仅探索单语言场景。在本文中，我们研究 KD 在多语言设置中的价值。我们通过分析学生模型如何从教师模型获取多语言知识来分析 KD 和模型初始化的重要性。我们提出的方法强调直接复制教师模型的权重以增强初始化。我们的发现表明，使用来自微调教师模型的复制权重进行模型初始化的贡献最大，优于蒸馏过程本身，无论是在各种多语言设置下。此外，我们展示了有效的权重初始化即使在低资源场景下也能保持多语言能力。
引用
@article{arxiv.2406.16524,
title = {The Privileged Students: On the Value of Initialization in Multilingual Knowledge Distillation},
author = {Haryo Akbarianto Wibowo and Thamar Solorio and Alham Fikri Aji},
journal= {arXiv preprint arXiv:2406.16524},
year = {2024}
}
备注
8 pages