利用 [CLS] 特征实现持续后训练
机器学习
2026-02-20 v2 计算机视觉与模式识别
摘要
持续学习需要模型在保持已掌握知识的同时整合新任务的类或领域。在此范式下，基础模型通常实现强性能，但仍受稳定性-塑性权衡制约，过度的塑性导致先前知识的遗忘，而过度的稳定则限制适应性。这要求一种有效的后训练策略，引入最小且具有功能性的修改。为此，我们首先引入一种新的参数高效微调模块'Learn and Calibrate'（LuCA），通过adapter-calibrator 对儿式获取任务特定知识，实现精细化的特征表示。随后，对于每个任务，我们在最后一个分类标记 [CLS] 之前部署稀疏 LuCA 模块，称为'Token-level Sparse Calibration and Adaptation'（TOSCA）。通过仅通过最后一个标记适应，使基础模型的泛化能力得以保留，我们实现了稳定性与塑性之间的和谐平衡，同时降低了训练和推理复杂度。我们展示了 TOSCA 在性能上实现了最先进水平，同时仅引入约8倍于先前方法的参数。
引用
@article{arxiv.2502.14762,
title = {Unlocking [CLS] Features for Continual Post-Training},
author = {Murat Onur Yildirim and Elif Ceren Gok Yildirim and Joaquin Vanschoren},
journal= {arXiv preprint arXiv:2502.14762},
year = {2026}
}
备注
Published in Transactions on Machine Learning Research (TMLR)