SLIM：让 LLM 通过软 LoRA 和身份混合学习更多、遗忘更少

尽管已有许多努力，但在许多应用中，仍面临训练预算、下游性能以及 LLM 通用能力之间的平衡挑战。为下游任务训练整个模型成本高昂，且容易导致灾难性遗忘。通过引入参数高效微调 (PEFT)，训练成本可降低，但仍受遗忘问题限制，限制了对下游任务的学习。为在降低下游性能限制的同时抑制通用能力遗忘，我们提出一种基于软 LoRA 和身份混合 (SLIM) 的新型专家混合 (MoE) 框架，该框架允许在 LoRA 适配器和跳过连接之间进行动态路由，从而抑制遗忘。我们采用带滑动聚类的权重产出机制，以提高跨域区分度以增强路由。我们还提出将低秩适配器混合转换为模型合并公式，引入快速动态 LoRA 适配器合并以保持基础模型的通用能力。大量实验表明，所提出的 SLIM 在下游任务上与最先进的 PEFT 方法相当，而在抑制灾难性遗忘方面实现领先性能。