理解监督微调中的过度适应：集成方法的作用
人工智能
2025-06-03 v1
摘要
在特定领域数据上进行监督微调（SFT）是将基础模型适配到特定任务的主导方法。然而，据观察，SFT 模型往往会遗忘在预训练期间获得的知识。在视觉模型中，将预训练模型与其微调后的对应模型进行集成已被证明可以缓解这一问题。在本工作中，我们证明语言模型同样如此，而且更令人惊讶的是，我们观察到了一种过度适应现象：集成模型不仅保留了来自基础模型的通用知识，甚至在微调领域本身也优于微调后的模型。尽管集成方法在经验上取得了成功，但对其优势的理论理解仍有待深入探索。我们对过度适应现象进行了形式化的理论分析。集成方法通过平衡两个主要误差源来缓解这一问题：由微调不足引起的偏差，以及由对微调数据过拟合引起的方差。虽然正则化技术旨在解决这种权衡，但我们表明集成方法提供了更有效的解决方案。我们在过参数化线性设置中分析了这一现象，并证明在预训练权重和微调权重之间进行插值可以显著提高性能。这些发现为观察到的模型集成优势提供了理论依据，并得到了与我们分析相一致的经验实验的支持。
引用
@article{arxiv.2506.01901,
title = {Understanding Overadaptation in Supervised Fine-Tuning: The Role of Ensemble Methods},
author = {Yifan Hao and Xingyuan Pan and Hanning Zhang and Chenlu Ye and Rui Pan and Tong Zhang},
journal= {arXiv preprint arXiv:2506.01901},
year = {2025}
}