PLATE：几何感知持续学习中可调节塑性高效适配器
机器学习
2026-02-04 v1 人工智能
摘要
我们开发了一种用于预训练模型的持续学习方法，**无需访问旧任务数据**，从而解决了基础模型适配中实用性障碍——即预训练分布往往不可用。我们的关键观察是，预训练网络具有显著的**几何冗余**，而这一冗余可以以两种互补方式被利用。首先，冗余神经元为主导的预训练时代特征方向提供了代理，从而能够直接从预训练权重构建约束受保护的更新子空间。其次，冗余性为**在何处放置塑性**提供了自然偏置：通过限制更新于少数冗余神经元上并约束剩余的自由度，我们获得的更新族在旧数据分布上的功能漂移受限且改进了最坏情况的保留保证。这些洞察导致了**PLATE**（**Pla**sticity-**T**unable **E**fficient Adapters），这是一种无需过去任务数据的数据持续学习方法，能够对塑性-保留权衡实现显式控制。PLATE为每一层参数化结构低秩更新 ，其中 和 仅从预训练权重计算一次并保持冻结，仅 在新任务上训练。代码已公开于 https://github.com/SalesforceAIResearch/PLATE。
引用
@article{arxiv.2602.03846,
title = {PLATE: Plasticity-Tunable Efficient Adapters for Geometry-Aware Continual Learning},
author = {Romain Cosentino},
journal= {arXiv preprint arXiv:2602.03846},
year = {2026}
}