一 Prompt 再现：稀疏专家混合用于基于提示的持续学习

基于提示的方法最近因其卓越的性能和内存效率而在持续学习（CL）中获得了显著关注。一种普遍策略是为每个任务分配一组专属提示，虽然有效，但会产生显著的计算开销，导致内存需求随任务数量线性增长。相比之下，采用单一共享提示跨任务的方法更高效，但常因知识干扰而导致性能下降。为调和这一权衡，我们提出了 SMoPE 框架，融合了任务特定提示策略和共享提示策略的优势。受最近关于前缀调谐与混合专家（MoE）关系的发现启发，SMoPE 将共享提示组织为稀疏 MoE 架构中的多个“提示专家”。对于每个输入，仅激活一小部分相关专家，从而有效缓解干扰。为促进专家选择，我们引入一种提示注意力得分聚合机制，计算每个专家的统一代理得分，实现动态稀疏激活。此外，我们提出一种自适应噪声机制，以鼓励专家均衡利用，同时保留来自先前任务的知识。为进一步增强专家专门化，我们设计了一种基于原型的损失函数，将前缀键作为隐式记忆表示。广泛的实验表明，SMoPE 在多个 CL 基准测试中均一致优于任务特定提示方法，同时显著降低参数数量和计算成本，性能与最先进方法相当。