视觉基础模型的历史测试时提示调优

测试时提示调优在推理阶段使用未标记的测试样本在线学习提示，通过即时学习有效的提示而无需任何特定于任务的标注，展现了巨大的潜力。然而，当提示随着测试数据流不断更新时，其性能通常会沿着调优过程明显下降，并且当测试样本的域不断变化时，这种下降会变得更加严重。我们提出了 HisTPT，一种历史测试时提示调优技术，它记忆已学测试样本的有用知识，并利用记忆的知识实现稳健的测试时提示调优。HisTPT 引入了三种类型的知识库，即局部知识库、难样本知识库和全局知识库，每种知识库以不同的机制工作，以实现有效的知识记忆和测试时提示优化。此外，HisTPT 具有自适应知识检索机制，通过自适应检索记忆的知识来正则化每个测试样本的预测。大量实验表明，HisTPT 在处理不同的视觉识别任务（例如，图像分类、语义分割和目标检测）以及来自不断变化域的测试样本时，始终如一地实现了卓越的提示调优性能。