面向持续学习的能量结构低秩适配
机器学习
2026-05-28 v1 人工智能
摘要
正交子空间方法试图缓解持续学习（CL）中的任务干扰，但往往因能量在基底间扩散而阻碍知识压缩，耗尽后续任务的容量。我们观察到，参数更新导致的输出特征漂移本质上是低秩的，并理论证明，保留该漂移主方向上的参数可最小化输出重构误差。基于此，我们提出能量集中能量有序低秩适配（E²-LoRA）。通过显式对知识在主秩分量上的排序与集中，E²-LoRA 释放了后续任务的容量。此外，我们设计了动态秩分配策略，通过联合优化能量保留与模型塑性，来平衡稳定性与塑性。广泛的实验表明，E²-LoRA 在多个基准测试上实现了最先进的性能。
引用
@article{arxiv.2605.27482,
title = {Energy-Structured Low-Rank Adaptation for Continual Learning},
author = {Longhua Li and Lei Qi and Qi Tian and Xin Geng},
journal= {arXiv preprint arXiv:2605.27482},
year = {2026}
}
备注
Accepted by ICML 2026