从风格到事实：界定微调知识注入的边界
计算与语言
2025-03-11 v1 机器学习
摘要
微调提供了一种可扩展且高性价比的方法，用于针对特定任务或响应风格定制语言模型，比 prompting 或上下文学习具有更高的可靠性。相比之下，传统观点认为通过微调注入知识会导致性能脆弱且泛化能力差。我们认为“任务定制”（例如指令微调）与“知识注入”（例如教授新事实）的二元划分实际上并无本质区别。相反，我们找出了导致微调效果存在异质性的具体因素。为此，我们开展了大规模实验研究，对前沿的 Gemini v1.5 模型家族进行微调，使用了一系列经过人工设计的数据集，这些数据集在微调的优势与失败模式之间进行插值。我们的发现表明，问答形式的训练数据比文档/文章形式的训练数据能提供强得多的知识泛化能力；数值信息比分类信息更难通过微调来保留；即使模型在相似示例上受过训练，也难以在多步推理中应用微调过的知识——所有这些因素都使得“知识注入”变得尤为困难，即使在控制了数据增强和信息量等因素后依然如此。另一方面，我们的发现也表明，微调关于真实世界事件的信息并不比微调模型写作风格的信息在根本上更困难。
引用
@article{arxiv.2503.05919,
title = {From Style to Facts: Mapping the Boundaries of Knowledge Injection with Finetuning},
author = {Eric Zhao and Pranjal Awasthi and Nika Haghtalab},
journal= {arXiv preprint arXiv:2503.05919},
year = {2025}
}