参数重要性并非静态：面向监督微调的演化参数隔离
机器学习
2026-04-16 v1 计算与语言
摘要
大型语言模型的监督式微调 (SFT) 常因任务干扰和灾难性遗忘而受到困扰。最近的做法通过在训练期间隔离任务关键参数来缓解此问题。然而，这些方法为动态问题提供了静态解决方案，假设参数重要性一旦被识别便保持不变。在本文中，我们经验性地表明参数重要性在训练过程中表现出时间漂移。为此，我们提出了演化参数隔离 (EPI) 框架，该框架基于参数重要性的在线估计来调整隔离决策。与冻结固定参数子集不同，EPI 会定期更新隔离掩码，以利用梯度信号，使模型能够保护新出现的任务关键参数，同时释放过时的旧参数以恢复塑性。在多任务基准测试上进行的实验表明，EPI 在比较静态隔离和标准微调的情况下，持续减少干扰和遗忘，同时提高整体泛化能力。我们的分析凸显了将隔离机制与学习多种能力的演化动态同步的必要性。
引用
@article{arxiv.2604.14010,
title = {Parameter Importance is Not Static: Evolving Parameter Isolation for Supervised Fine-Tuning},
author = {Zekai Lin and Chao Xue and Di Liang and Xingsheng Han and Peiyang Liu and Xianjie Wu and Lei Jiang and Yu Lu and Haibo Shi and Shuang Liang and Minlong Peng},
journal= {arXiv preprint arXiv:2604.14010},
year = {2026}
}