Janus-LoRA：用于持续学习的平衡低秩适应
计算机视觉与模式识别
2026-05-28 v1
摘要
低秩适应（LoRA）已成为持续学习的有前景的范式。它独立更新其低秩因子（ 和 ），通过它们的相互作用创建对完整权重矩阵的复合更新。为了防止灾难性遗忘，该更新应保持与包含先前学习知识的任务特定子空间的正交性。然而，我们识别到该复合更新系统性地违反了这种正交性，重新引入干扰并削弱了稳定性。此外，生动地强制这种正交性会损害塑性，破坏稳定性-塑性权衡的微妙平衡。为解决这些问题，我们提出了\textbf{Janus-LoRA}，通过两个新组件恢复这种平衡。具体而言，我们首先引入梯度校正，一个闭形式解决方案，对 LoRA 的因子更新进行数学解耦，强制其对通过高效在线估计识别的历史知识子空间保持正交。接着，为了增强塑性，我们引入一种解耦边际损失，该损失通过将新特征表示推远离旧特征表示来促进特征层面的分离，从而为新学习创建独特的低干扰区域。针对具有挑战性的基准进行的全面实验表明，通过在参数层面的正交性与特征层面的分离之间和谐，Janus-LoRA 实现了优越的平衡并建立了新的最先进性能。
引用
@article{arxiv.2605.28495,
title = {Janus-LoRA: A Balanced Low-Rank Adaptation for Continual Learning},
author = {Cheng Chen and Pengpeng Zeng and Yuyu Guo and Lianli Gao and Hengtao Shen and Jingkuan Song},
journal= {arXiv preprint arXiv:2605.28495},
year = {2026}
}
备注
9pages, International Conference on Machine Learning