STABLE：面向大语言模型的门控持续学习
机器学习
2025-10-21 v1 人工智能
摘要
大型语言模型（LLMs）日益需要在不进行完整再训练的情况下实现持续适应。然而，顺序更新可能导致灾难性遗忘，即新的编辑会损害先前获取的知识。本文提出了 STABLE，一种门控持续自我编辑框架，通过低秩适应（LoRA）实现参数高效微调，以约束顺序更新过程中的遗忘。对每个候选编辑，都将其根据稳定性预算进行评估，采用以下三种指标之一：（i）精确匹配（Exact Match, EM）下降，衡量事实准确性损失；（ii）位增量，反映模型置信度降低；（iii）KL 散度，量化基本模型与调整后模型之间的分布漂移。若超过阈值，LoRA 更新将通过裁剪程序进行比例缩放或被拒绝。在 Qwen-2.5-7B 模型上的实验表明，门控机制有效缓解了遗忘，同时保持了适应性。基于 EM 的门控在短持续学习序列中实现了最高的累积性能。我们的结果表明，不同的门控策略在衡量 KL 散度的分布偏移时可达到相当的值，却产生不同的准确率结果，这凸显了持续适应中门控设计的重要性。该方法为持续模型编辑提供了原则化的方法，使大语言模型能够在保持可靠性的同时整合新知识。代码：https://github.com/Bhoy1/STABLE
引用
@article{arxiv.2510.16089,
title = {STABLE: Gated Continual Learning for Large Language Models},
author = {William Hoy and Nurcin Celik},
journal= {arXiv preprint arXiv:2510.16089},
year = {2025}
}