基于引导随机投影的预训练模型连续表示学习提升方法
机器学习
2026-03-20 v1
摘要
最近一系列基于随机投影层（RPL）的随机连续表示学习方法，在预训练模型（PTM）上表现出优异性能。这些方法在PTM之后插入一个随机初始化的RPL，以增强初始阶段的特征表示。随后，使用线性分类头进行分析性更新以进行连续学习。然而，在PTM表示与目标域之间存在严重的域间差距时，随机初始化的RPL在大规模域迁移下表现出有限的表达能力。虽然通过大幅度增加RPL维度可以提高表达能力，但这也会导致特征矩阵病态，从而 destabilize 递归分析性更新。为此，我们提出了具有MemoryGuard监督机制的随机连续学习器（SCL-MGSM）。不同于随机初始化，MGSM通过一种原则且数据导导的机制构建投影层，逐步选择目标对齐的随机基来适应PTM表示以适应下游任务。这一方法促进了紧凑且高效RPL的构建，同时提高了分析性更新的数值稳定性。在多个无样本类连续学习基准测试上进行的大规模实验表明，SCL-MGSM在性能上优于最先进的方法。
引用
@article{arxiv.2603.19145,
title = {Enhancing Pretrained Model-based Continual Representation Learning via Guided Random Projection},
author = {Ruilin Li and Heming Zou and Xiufeng Yan and Zheming Liang and Jie Yang and Chenliang Li and Xue Yang},
journal= {arXiv preprint arXiv:2603.19145},
year = {2026}
}