重新思考指令质量：LIFT 正是你所需要的
计算与语言
2023-12-29 v2 人工智能
摘要
指令微调是一种通过指令数据集增强大型语言模型（LLM）性能的专门技术，其高度依赖于所采用数据的质量。现有的质量提升方法通过数据集扩展或筛选来改变指令数据。然而，扩展方法存在数据冗余的风险，可能会损害 LLM 的性能，而筛选方法则将 LLM 的潜力局限于原始数据集。我们的目标是在不出现这些缺点的情况下超越原始数据质量。为此，我们提出了 LIFT（LLM Instruction Fusion Transfer，LLM 指令融合迁移），一种新颖且通用的范式，旨在将指令质量提升至新的高度。LIFT 战略性地拓宽数据分布以涵盖更多高质量子空间，并消除冗余，集中于整体数据子空间中的高质量片段。实验结果表明，即使使用由我们的范式筛选出的有限数量的高质量指令数据，LLM 不仅能在各种任务中始终保持稳健的性能，还能超越一些 state-of-the-art 结果，这突显了我们的范式在指令质量上取得的显著提升。
引用
@article{arxiv.2312.11508,
title = {Rethinking the Instruction Quality: LIFT is What You Need},
author = {Yang Xu and Yongqiang Yao and Yufan Huang and Mengnan Qi and Maoquan Wang and Bin Gu and Neel Sundaresan},
journal= {arXiv preprint arXiv:2312.11508},
year = {2023}
}