基于相似性启发式终身提示微调缓解负迁移

终身提示微调以其高效性和对多种任务的最小存储需求，显著推进了参数高效的终身学习。然而，我们的实证研究指出了当前方法中某些可迁移性限制：目前无法实现一种能保证在所有任务上持续正迁移的通用算法，尤其是在处理可能产生负迁移的不相似任务时。将算法选择与任务特异性之间的错位识别为负迁移的主要原因，我们提出了相似性启发式终身提示微调框架。这一创新策略通过利用可学习的相似性度量将任务划分为两个不同的子集，从而促进无论任务相似与否的有益迁移。此外，SHLPT 还引入了一个参数池来有效对抗灾难性遗忘。我们的实验表明，SHLPT 在终身学习基准测试中优于最先进的技术，并在多样化的任务序列中展现出对负迁移的鲁棒性。