重新审视低秩持续学习中的权重正则化
机器学习
2026-02-20 v1
摘要
大规模预训练模型 (PTMs) 的持续学习 (CL) 近期受到广泛关注，将注意力从从头训练转向持续适应 PTMs。这催生了一种有前景的范式：参数高效持续学习 (PECL)，其中通过在训练期间分配特定于任务的模块（如低秩适配器）来缓解任务干扰。然而，诸如弹性权重整合 (EWC) 等权重正则化技术——这是 CL 中的关键策略——在这一新范式中仍鲜有被探索。本文从缓解 PECL 中任务干扰的新视角出发，重新审视低秩 CL 中的权重正则化。不同于现有的低秩 CL 方法，本文通过对 EWC 进行正则化来约束共享的低秩更新，从而在任务数量不变的情况下保持存储需求和推理成本恒定。我们提出的 EWC-LoRA 方法利用低秩表示在完整维度空间中估计参数重要性。这种设计为 PTM 的 CL 提供了一种实用且在计算和内存方面都高效的解决方案，并为更广泛地将正则化技术应用于 PECL 提供了见解。广泛的实验结果表明，EWC-LoRA 在各种基准测试上的稳定性-塑性权衡优于现有的低秩 CL 方法。这些结果表明，即便在低秩参数化的情况下，权重正则化仍然是缓解任务干扰的有效机制。代码已公开：https://github.com/yaoyz96/low-rank-cl
引用
@article{arxiv.2602.17559,
title = {Revisiting Weight Regularization for Low-Rank Continual Learning},
author = {Yaoyue Zheng and Yin Zhang and Joost van de Weijer and Gido M van de Ven and Shaoyi Du and Xuetao Zhang and Zhiqiang Tian},
journal= {arXiv preprint arXiv:2602.17559},
year = {2026}
}
备注
Accepted by ICLR 2026