学生作为噪声教师的内在去噪器
机器学习
2023-12-19 v1 计算与语言
摘要
知识蒸馏（KD）已被广泛用于通过伪标签学习将知识从大型语言模型（LLM）迁移到低数据场景下的专用模型。然而，教师模型生成的伪标签通常带有噪声，可能影响KD性能。本研究深入探讨了含噪声教师的KD，并发现学生模型在KD过程中已经能够生成比用于训练它的教师标签更准确的预测，这表明其具有内在的去噪能力。受此发现启发，我们提出了同伴建议知识蒸馏（Peer-Advised KD）来改进含噪声教师下的普通KD。实验表明，Peer-Advised KD在使用50个人工标注数据时，性能可超过LLM约5%，甚至与使用750个人工标注数据的标准监督微调相竞争。
引用
@article{arxiv.2312.10185,
title = {Student as an Inherent Denoiser of Noisy Teacher},
author = {Jiachen Zhao},
journal= {arXiv preprint arXiv:2312.10185},
year = {2023}
}
备注
The Third NeurIPS Workshop on Efficient Natural Language and Speech Processing