SR²-LoRA：面向类增量学习的自纠正跨层关系低秩适配
机器学习
2026-05-11 v1 计算机视觉与模式识别
摘要
使用参数高效微调 (PEFT) 的预训练模型已展现出类增量学习 (CIL) 的潜力，但在适应新任务时仍存不可避免的遗忘现象。 本文我们提出一种新颖视角，通过分析跨层关系漂移，即在学习新任务期间破坏层间表示关系的渐进过程来解释不可避免的遗忘。 我们理论证明，此类漂移的增加会降低先前学习任务的分类边际，从而损害整体模型性能。 为解决此问题，我们提出 Self-Rectifying inter-layer Relation Low-Rank Adaptation (SR²-LoRA)，一种简单而有效的方法，通过约束跨层关系漂移来缓解不可避免的遗忘。 具体而言，SR²-LoRA 构造由先前模型和当前模型在当前任务样本上诱导的关系矩阵，并对齐相应的奇异值。 我们进一步理论证明，这种对齐对估计扰动的鲁棒性更强 than 直接的逐元素对齐。 广泛的在标准 CIL 基准上的实验表明，SR²-LoRA 有效缓解了不可避免的遗忘，随着任务数量的增加，其优势更为显著。 代码已在 GitHub 仓库中提供。
引用
@article{arxiv.2605.07420,
title = {SR$^2$-LoRA: Self-Rectifying Inter-layer Relations in Low-Rank Adaptation for Class-Incremental Learning},
author = {Fengqiang Wan and Yipeng Lin and Kan Lv and Yang Yang},
journal= {arXiv preprint arXiv:2605.07420},
year = {2026}
}