从数量到质量：通过自引导数据选择进行指令微调以提升大语言模型性能
计算与语言
2024-04-09 v5
摘要
在大语言模型（LLMs）领域，指令数据质量与数量之间的平衡是焦点所在。有鉴于此，我们引入一种自引导方法，使 LLM 能够自主从开源数据集中甄别并选择精华样本，有效减少指令微调所需的人工整理与潜在成本。我们的关键创新——指令遵循难度（IFD）度量，作为识别模型期望响应与内在生成能力之间差异的关键指标而出现。通过应用 IFD，可精准定位精华样本，从而显著提升模型训练效率。在 Alpaca 与 WizardLM 等数据集上的实证验证支撑了我们的发现；仅输入原始数据的 ，我们的策略便展现出更优结果。这种自引导精选与 IFD 度量的结合标志着 LLM 指令微调的变革性飞跃，有望带来高效且节约资源的进展。代码、数据与模型已公开：https://github.com/tianyi-lab/Cherry_LLM
引用
@article{arxiv.2308.12032,
title = {From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning},
author = {Ming Li and Yong Zhang and Zhitao Li and Jiuhai Chen and Lichang Chen and Ning Cheng and Jianzong Wang and Tianyi Zhou and Jing Xiao},
journal= {arXiv preprint arXiv:2308.12032},
year = {2024}
}
备注
NAACL, Camera-ready