SD-LoRA：用于类递增学习的可扩展解耦低秩适配
机器学习
2025-03-10 v3
摘要
随着基础模型的持续学习（Continual Learning, CL）近期成为一种有前景的范式，以利用在预训练期间获取的丰富知识以解决顺序任务。然而，现有的基于提示和低秩适应（LoRA）的方法通常需要扩充提示/LoRA 池或保留先前任务的样本，这在任务数量增长时提出了显著的可扩展性挑战。为解决这些限制，我们提出了用于类递增学习的可扩展解耦 LoRA（SD-LoRA），该方法在无重训的情况下持续分离 LoRA 组件的幅度和方向的学习。我们的经验和理论分析揭示，SD-LoRA 倾向于遵循低损失轨迹，并收敛到所有已学习任务的重叠低损失区域，从而实现优异的稳定性-塑性权衡。基于这些洞见，我们引入了两个 SD-LoRA 变体，以进一步提高参数效率。SD-LoRAs 的所有参数都可以针对 CL 目标进行端到端优化。与此同时，它们支持通过直接评估最终训练好的模型来实现高效推断，从而无需组件选择。广泛的实验在多个 CL 基准和基础模型上都一致验证了 SD-LoRA 的有效性。代码可在 https://github.com/WuYichen-97/SD-Lora-CL 上获取。
引用
@article{arxiv.2501.13198,
title = {SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning},
author = {Yichen Wu and Hongming Piao and Long-Kai Huang and Renzhen Wang and Wanhua Li and Hanspeter Pfister and Deyu Meng and Kede Ma and Ying Wei},
journal= {arXiv preprint arXiv:2501.13198},
year = {2025}
}