持续学习中的稀疏正交参数调优
机器学习
2026-05-22 v3
摘要
基于预训练模型(PTM)的持续学习方法近期受到关注，它们能够在不发生灾难性遗忘的情况下适应连续的下游任务。这些方法通常避免更新预训练参数，而是采用额外的适配器、提示词和分类器。在本文中，我们从一个新的角度研究了稀疏正交参数在持续学习中的好处。我们发现，将来自多个流式任务的模型稀疏正交性进行合并，在解决灾难性遗忘方面具有巨大潜力。基于这一洞察，我们提出了一种新颖且有效的方法SoTU（Sparse Orthogonal Parameters TUning）。我们假设SoTU的有效性在于将来自多个领域所学的知识转化为正交增量参数的融合。在多样化的持续学习基准上的实验评估证明了所提出方法的有效性。值得注意的是，SoTU无需复杂的分类器设计即可为流式数据实现最优特征表示，使其成为一种即插即用的解决方案。
引用
@article{arxiv.2411.02813,
title = {Sparse Orthogonal Parameters Tuning for Continual Learning},
author = {Kun-Peng Ning and Hai-Jian Ke and Yu-Yang Liu and Jia-Yu Yao and Yong-Hong Tian and Li Yuan},
journal= {arXiv preprint arXiv:2411.02813},
year = {2026}
}