用于持续学习的向量量化提示

持续学习要求在一系列任务上训练单个模型时克服灾难性遗忘。近期表现最佳的方法是基于提示的方法，它们利用一组可学习参数（即提示）来编码任务知识，从中选择合适的提示来引导固定的预训练模型生成针对特定任务的特征。然而，现有方法依赖于预测提示标识来进行提示选择，其中标识预测过程无法通过任务损失进行优化。这一限制导致了次优的提示选择以及预训练特征对特定任务的不充分适应。先前的努力试图通过直接从输入查询生成提示而不是从候选集中选择来解决此问题。然而，这些提示是连续的，缺乏对任务知识表示的充分抽象，使其在持续学习中效果较差。为了应对这些挑战，我们提出了 VQ-Prompt，这是一种基于提示的持续学习方法，将向量量化（VQ）结合到一组离散提示的端到端训练中。通过这种方式，VQ-Prompt 能够利用任务损失优化提示选择过程，同时实现持续学习中任务知识的有效抽象。大量实验表明，在具有挑战性的类增量设置下，VQ-Prompt 在各种基准测试中优于最先进的持续学习方法。代码可在 \href{https://github.com/jiaolifengmi/VQ-Prompt}{此 https URL} 获取。