最小调优：以高质量数据为关键 unlocks 大型语言模型的长文本输出
计算与语言
2024-10-16 v2
摘要
随着大型语言模型快速演进以支持更长的上下文，他们在生成更长输出方面的能力存在显著差异。最近的研究表明，这种不平衡的主要原因可能源于在对齐训练期间缺乏长输出数据。在此观察基础上，尝试用填补这一差距的数据重新对齐基础模型，从而实现能够生成长文本输出的模型。本文探讨了数据质量在为长文本输出调优模型方面的影响，以及是否可以从人类对齐（指令或聊天）模型的起点来实现此目标。通过谨慎的数据精选，我们展示，在仅使用少量训练数据实例和计算资源的情况下，仍可为调优后的模型实现类似的性能提升。此外，我们通过将调优配方应用于多个模型来评估此类方法的普遍性。我们的发现表明，尽管不同模型在“开箱即用”状态下生成长文本输出的能力各异，但我们使用高质量数据以轻计算进行的调优方法，在我们实验的所有模型中均一致地实现了显著的性能提升。我们已公开我们的精选数据集，用于调优长文本写作能力，以及模型调优和评估的实现，以及精调后的模型，所有内容均可公开获取。
引用
@article{arxiv.2410.10210,
title = {Minimum Tuning to Unlock Long Output from LLMs with High Quality Data as the Key},
author = {Yingda Chen and Xingjun Wang and Jintao Huang and Yunlin Mao and Daoze Zhang and Yuze Zhao},
journal= {arXiv preprint arXiv:2410.10210},
year = {2024}
}