谱不平衡导致低秩持续适应中的遗忘
机器学习
2026-02-03 v1
摘要
参数高效的持续学习旨在使预训练模型适应顺序任务，同时不遗忘先前获得的知识。大多数现有方法将持续学习视为避免与过去更新产生干扰，而不是考虑当前特定于任务的更新具有哪些属性可以自然地保留先前获得的知识。从知识分解的角度，我们观察到低秩适应表现出高度不平衡的奇异值谱：少数主导成分吸收了大部分适应能量，从而(i)更有可能破坏先前获得的知识，并且(ii)使更新更容易受到后续任务干扰的影响。为了实现各成分之间的显式平衡，我们将任务更新的幅度与其方向结构解耦，并将其表述为受限Stiefel流形上的约束优化问题。我们使用与视觉语言模型中使用的标准深度学习优化器兼容的投影一阶方法来解决这个问题。我们的方法减轻了向后和向前的遗忘，持续优于持续学习基线。实现代码可在 https://github.com/haodotgu/EBLoRA 获取。
引用
@article{arxiv.2602.00722,
title = {Spectral Imbalance Causes Forgetting in Low-Rank Continual Adaptation},
author = {Hao Gu and Mao-Lin Luo and Zi-Hao Zhou and Han-Chen Zhang and Min-Ling Zhang and Tong Wei},
journal= {arXiv preprint arXiv:2602.00722},
year = {2026}
}
备注
19 pages, 6 figures