细究指令微调的局限性

指令微调（Instruction Tuning, IT）是使用指令-响应对训练大语言模型（LLMs）的过程，已成为将基础预训练LLMs转变为开放域对话代理的主流方法。尽管指令微调取得了显著成功并被广泛采用，但其局限性和缺点仍未得到充分探索。本文通过严格的实验和对LLMs在指令微调过程中所经历变化的深入分析，揭示了指令微调的各种局限性。我们特别指出：（1）指令微调未能增强LLMs中的知识或技能。LoRA微调仅限于学习响应启动和风格标记，而全参数微调则导致知识退化。（2）从源自知识渊博来源的指令微调数据集中复制响应模式会导致响应质量下降。（3）全参数微调通过不准确地借用指令微调数据集中概念相似实例的标记来生成响应，从而增加了幻觉。（4）改进指令微调的流行方法并未比简单的LoRA微调模型带来性能提升。我们的研究结果表明，在开源数据集上，仅从预训练知识生成的响应始终优于那些通过指令微调学习任何形式新知识的模型所生成的响应。我们希望本文揭示的见解和挑战能启发未来在相关方向上的工作。