面向任务无关在线持续学习的提示选择是否必要？

任务无关在线持续学习近期成为针对动态真实环境持续学习的现实范式，其中数据以无明确任务边界的非平稳流形式到达且仅可观测一次。为考虑此类挑战性场景，诸多近期方法采用提示选择技术，基于输入信号从提示池中自适应选择提示。然而，我们观察到此类选择策略常因难以选取合适提示而取得次优结果，尽管关键参数额外训练。鼓励此观察结果的动机下，我们提出一种简单而有效的SinglePrompt，以消除提示选择需求并聚焦分类器优化。具体而言，我们(i)在每个自注意力块中注入单个提示，(ii)采用余弦相似度设计logit以缓解分类器权重固有的遗忘效应，(iii)对当前小批量中未暴露的类别logit进行掩码处理。通过该简单任务无关设计，本框架在多种在线持续学习基准测试中实现了最先进性能。源码已公开于https://github.com/efficient-learning-lab/SinglePrompt。