展示如何完成：解释在微调语言模型中的作用
计算与语言
2024-02-13 v1 人工智能
机器学习
摘要
我们的研究证明了利用带有解释的数据进行微调以增强语言模型性能的显著益处。与保持模型参数不变的提示（prompting）不同，微调允许模型在训练阶段学习并更新其参数。在本研究中，我们使用包含输出解释而非仅呈现答案的数据，对各种规模的语言模型应用了微调。我们发现，即使是参数量少至 6000 万的小型语言模型也能从这种方法中大幅受益。有趣的是，结果表明详细解释对小型模型的益处大于大型模型，后者从任何形式的解释中获得的优势几乎相同，无论其长度如何。此外，我们证明了包含解释使模型能够解决 Without 解释时无法解决的任务。最后，我们认为，尽管添加解释具有挑战性，但包含解释的样本不仅减少了训练所需的数据量，还促进了模型更有效的泛化。本质上，我们的发现表明，带有解释的微调显著增强了大型语言模型的性能。
引用
@article{arxiv.2402.07543,
title = {Show Me How It's Done: The Role of Explanations in Fine-Tuning Language Models},
author = {Mohamad Ballout and Ulf Krumnack and Gunther Heidemann and Kai-Uwe Kuehnberger},
journal= {arXiv preprint arXiv:2402.07543},
year = {2024}
}