GOLD：基于分布外引导的语言数据生成的广义知识蒸馏
计算与语言
2024-04-01 v1
摘要
从LLM进行知识蒸馏对于语言模型的高效部署至关重要。先前的工作提出了使用LLM生成数据来准备蒸馏模型。我们认为，使用LLM生成数据容易主要从原始内容分布的中心进行采样。这一限制阻碍了蒸馏模型学习真实的基础数据分布，并使其忘记分布的尾部（概率较低的样本）。为此，我们提出了GOLD，一个任务无关的数据生成与知识蒸馏框架，它为LLM采用迭代的分布外引导反馈机制。因此，生成的数据提高了蒸馏模型的泛化能力。还引入了一种基于能量的OOD评估方法来处理有噪声的生成数据。我们在NLP中10个不同的分类和序列到序列任务上的广泛实验表明，GOLD分别优于现有技术和LLM，平均提升分别为5%和14%。我们还将证明所提出的方法适用于较少探索和新颖的任务。代码已公开。
引用
@article{arxiv.2403.19754,
title = {GOLD: Generalized Knowledge Distillation via Out-of-Distribution-Guided Language Data Generation},
author = {Mohsen Gholami and Mohammad Akbari and Cindy Hu and Vaden Masrani and Z. Jane Wang and Yong Zhang},
journal= {arXiv preprint arXiv:2403.19754},
year = {2024}
}