面向无样本持续学习的 LoRA 减法与漂移抗性空间

在持续学习（CL）中，特征漂移常导致灾难性遗忘。这一挑战在无样本持续学习（EFCL）环境中尤为突出，因为无法保存以前任务的样本，难以保留先前知识。为此，一些EFCL方法旨识别最小化对以前任务影响并适应新任务的特征空间。然而，这些方法依赖静态特征或来自旧任务的过时统计信息，无法捕捉CL中特征空间的动态演化，导致随时间推移性能下降。本文引入漂移抗性空间（DRS），无需显式特征建模或存储以前任务，即可有效处理特征漂移。提出一种新颖的参数高效微调方法，即 LoRA 减法（LoRA-），以开发 DRS。该方法在处理新任务数据前，从初始预训练权重中减去旧任务的 LoRA 权重，以建立 DRS用于模型训练。因此，LoRA-增强了稳定性，提高了效率，简化了实现。此外，稳定特征漂移有助于通过 triplet loss 实现更好的塑性。我们的方法在多个数据集上 consistently 实现最先进的结果，尤其在长任务序列上效果显著。