通用指令微调中上下文感知能力的丧失
计算与语言
2025-02-04 v3 机器学习
摘要
预训练大型语言模型（LLMs）需要通过指令-响应对上的监督微调（SFT）等后训练方法来实现指令遵循。然而，这一过程可能会损害预训练期间学到的现有能力。在本文中，我们研究了SFT后上下文感知能力的丧失，其中上下文感知能力定义为从用户提供的上下文中提取和理解信息并据此响应的能力。我们识别并证明，上下文感知能力的丧失，特别是在开源模型中，发生在应用聊天模板于输入提示的指令微调LLM中。我们发现性能下降与在对话指令微调过程中学到的不同角色偏见相关。我们通过可视化应用聊天模板后注意力分配的变化以及手动引导注意力头来证明这种相关性。这种偏见可以从与模型内部知识对齐且较少依赖用户提供的上下文来生成正确响应的训练示例中学习。基于这些观察，我们提出了一种从通用指令微调数据集中识别上下文依赖示例的指标。然后，我们应用条件指令微调并结合上下文依赖指示器，使模型在SFT后保留上下文感知能力。在四个上下文依赖的下游任务和三个不同规模的预训练LLM上的实验表明，我们的方法有效缓解了上下文感知能力的丧失，而不会损害通用指令遵循能力。
引用
@article{arxiv.2411.02688,
title = {On the Loss of Context-awareness in General Instruction Fine-tuning},
author = {Yihan Wang and Andrew Bai and Nanyun Peng and Cho-Jui Hsieh},
journal= {arXiv preprint arXiv:2411.02688},
year = {2025}
}