软变换器用于持续学习
机器学习
2026-04-29 v3 人工智能
计算机视觉与模式识别
摘要
灵感来源于“良好初始化彩票假设 (WLTH)”，我们提出 Soft-Transformer (Soft-TF)，一个用于持续学习的参数高效框架，利用软实值子网络作用于冻结的预训练变换器上。我们不依赖手动设计的提示或适配器，而是学习作用于自注意力机制中键、查询、值和输出投影上的任务特定乘性掩码。这些掩码使任务适应平滑且稳定，同时保持共享表示。结合轻量级双提示机制，Soft-TF 保持强大的知识保留能力，缓解了灾难性遗忘 (CF)。在多个持续学习基准测试中，Soft-TF 实现了最先进的性能，持续优于基于提示、适配器和 LoRA 风格的方法，所需额外参数最小。
引用
@article{arxiv.2411.16073,
title = {Soft-TransFormers for Continual Learning},
author = {Haeyong Kang and Chang D. Yoo},
journal= {arXiv preprint arXiv:2411.16073},
year = {2026}
}