分析监督微调对模型知识的影响：从词元与参数层面
计算与语言
2026-02-11 v2 人工智能
摘要
大型语言模型（LLM）在预训练期间获得了大量的世界知识，这些知识随后通过监督微调（SFT）等后训练技术进行进一步塑造。然而，SFT对模型知识的影响仍未得到充分探索，这限制了我们控制微调后模型知识变化行为的能力。为弥补这一差距，我们评估了来自LLaMA-2和LLaMA-3系列的五个LLM在闭书提问回答（CBQA）任务上的表现。令人惊讶的是，仅使用240个样本进行微调的模型，性能比仅使用1,920个样本进行微调的模型差了最高可达14%。此外，微调数据中知识掌握程度的不同，导致性能在12%以上波动。为调查这些影响，我们在词元和参数两个层面分析了模型行为。我们的分析表明，SFT期间最多90%的参数更新并不贡献于知识提升。恢复这些更新可以在CBQA任务中提升性能，这取决于微调数据的特征。这些见解为开发更有效提升模型知识的微调策略提供了实际指导。
引用
@article{arxiv.2509.16596,
title = {Analyzing the Effects of Supervised Fine-Tuning on Model Knowledge from Token and Parameter Levels},
author = {Junjie Ye and Yuming Yang and Yang Nan and Shuo Li and Qi Zhang and Tao Gui and Xuanjing Huang and Peng Wang and Zhongchao Shi and Jianping Fan},
journal= {arXiv preprint arXiv:2509.16596},
year = {2026}
}
备注
Accepted by EMNLP 2025 Main Conference. Codes for parameter restoration are available at https://github.com/UmeanNever/ParamRestore