稀疏适配器融合：NLP 中的持续学习方法
机器学习
2026-02-04 v1 人工智能
摘要
自然语言处理中的持续学习在适应不断演变的数据和防止灾难性遗忘方面发挥着关键作用。尽管取得了显著进展，但现有方法仍面临诸多挑战，如跨任务间高效参数复用不足、当任务差异较大时容易发生灾难性遗忘，以及为每个任务不必要地引入新参数，阻碍了相似任务之间的知识共享。为此，我们提出了稀疏适配器融合方法（Sparse Adapter Fusion Method, SAFM），以动态融合旧适配器和新适配器来应对这些挑战。SAFM 在两个阶段运行：决策阶段和调优阶段。在决策阶段，SAFM 决定是融合新适配器、复用现有适配器，还是添加空适配器。设计的架构搜索程序优先考虑复用或添加空适配器，以最小化参数消耗并最大化复用。在调优阶段，SAFM 通过鼓励适配器之间的差异化，特别地促进了逐层损失，以有效捕捉同一任务内的知识。实验结果一致表明，SAFM 在性能上优于当前最先进（SOTA）方法，同时使用的参数不足于 60%。
引用
@article{arxiv.2602.02502,
title = {Sparse Adapter Fusion for Continual Learning in NLP},
author = {Min Zeng and Xi Chen and Haiqin Yang and Yike Guo},
journal= {arXiv preprint arXiv:2602.02502},
year = {2026}
}
备注
This paper has been accepted to EACL 2026