面向大语言模型持续学习的门控式低秩适配集成
计算与语言
2025-10-28 v2
摘要
持续学习 (CL) 要求模型顺序学习多个任务，是大语言模型 (LLM) 关键技术。近期，低秩适配 (LoRA) 作为最具代表性的参数高效微调 (PEFT) 方法，在 LLM 持续学习中受到广泛关注。然而，现有大多数基于 LoRA 的 CL 方法会为每个新任务扩展新的 LoRA 分支，并强制新旧 LoRA 分支对旧任务 equally 影响，可能导致灾难性遗忘。本文提出一种新方法，称为门控式低秩适配集成 (GainLoRA)，用于 LLM 持续学习。GainLoRA 为每个新任务扩展新的 LoRA 分支，并引入门控模块集成新旧 LoRA 分支。此外，GainLoRA 利用新门控模块最小化新 LoRA 分支对旧任务的影响，有效缓解遗忘，提高模型整体性能。实验在 CL 基准上表明，GainLoRA 超越了现有 SOTA 方法。
引用
@article{arxiv.2505.15424,
title = {Gated Integration of Low-Rank Adaptation for Continual Learning of Large Language Models},
author = {Yan-Shuo Liang and Jia-Rui Chen and Wu-Jun Li},
journal= {arXiv preprint arXiv:2505.15424},
year = {2025}
}
备注
Accepted to NeurIPS 2025