continual learning 的表示微调
机器学习
2026-03-20 v2 人工智能
摘要
世界本质上是动态的，持续学习旨在使模型能够适应不断演化的数据流。虽然预训练模型在持续学习中显示出强大的性能，但仍需要 fine-tuning 以有效适应下游任务。然而，现行的参数高效 fine-tuning (PEFT) 方法通过经验性、黑箱的权重级优化实现，其缺点是缺乏对表示漂移的显式控制，导致对域迁移敏感，在持续学习情境下出现灾难性遗忘现象。本文引入 Continual Representation Learning (CoRe)，首次将 fine-tuning 范式从权重空间转向表示空间。不同于常规方法，CoRe 在隐藏表示的低秩线性子空间中执行任务特定的干预，采用具有显式目标的学习过程，确保过去任务的稳定性同时保持对新任务的塑性。通过约束更新于低秩子空间，CoRe 实现了卓越的参数效率。广泛的实验表明，CoRe 不仅保持参数效率，还显著优于现有 SOTA 方法。我们的工作引入表示微调作为持续学习的新范式，更为有效且更具可解释性。
引用
@article{arxiv.2603.11201,
title = {Representation Finetuning for Continual Learning},
author = {Haihua Luo and Xuming Ran and Tommi Kärkkäinen and Huiyan Xue and Zhonghua Chen and Qi Xu and Fengyu Cong},
journal= {arXiv preprint arXiv:2603.11201},
year = {2026}
}