基于李群的正交低秩适应用于大型语言模型的持续学习
计算与语言
2026-01-26 v2
摘要
大型语言模型（LLMs）在顺序多任务学习中 suffer catastrophic forgetting。现有参数正则化方法（如O-LoRA、N-LoRA）通过低秩子空间正交性来缓解干扰，但加法更新扭曲了模型参数的内在几何。我们提出OLieRA，一种基于李群的微调框架，通过乘法更新保持参数几何，并在任务子空间之间强制正交性。OLieRA在Standard CL基准上实现了最先进的性能，在大规模任务序列下仍保持高度竞争力。它进一步继承了O-LoRA的无replay和无task-ID free推理属性，为LLMs的持续学习建立了原则性范式。
引用
@article{arxiv.2509.06100,
title = {Orthogonal Low-rank Adaptation in Lie Groups for Continual Learning of Large Language Models},
author = {Kefan Cao and Shuaicheng Wu},
journal= {arXiv preprint arXiv:2509.06100},
year = {2026}
}
备注
13 pages, 3 figures