JumpLoRA：用于大型语言模型持续学习的稀疏适配器
机器学习
2026-04-29 v3 人工智能
计算与语言
摘要
基于适配器的方法已成为大型语言模型（LLM）持续学习（CL）的高性价比方案，通过为每个任务顺序学习低秩更新矩阵来实现。为缓解灾难性遗忘，最先进的方法通过针对前一个适配器的子空间或坐标级干扰施加约束。本文提出JumpLoRA，一种通过使用JumpReLU门控在低秩适应（LoRA）块中自适应诱导稀疏性的新框架。该方法实现动态参数隔离，有助于防止任务干扰。我们证明该方法高度模块化且与LoRA-based CL方法兼容。具体而言，它显著提升了IncLoRA的性能，并超越了领先的领先持续学习方法ELLA。
引用
@article{arxiv.2604.16171,
title = {JumpLoRA: Sparse Adapters for Continual Learning in Large Language Models},
author = {Alexandra Dragomir and Ioana Pintilie and Antonio Barbalau and Marius Dragoi and Florin Brad and Cristian Daniel Paduraru and Alexandru Tifrea and Elena Burceanu and Radu Tudor Ionescu},
journal= {arXiv preprint arXiv:2604.16171},
year = {2026}
}