DynaPrompt：动态测试时提示调优

测试时提示调优增强了视觉语言模型的零样本泛化能力，但在推理过程中往往忽略了测试样本之间的相关性。在线测试时提示调优提供了一种利用先前测试样本信息的简单方法，但由于误差累积，存在提示崩溃的风险。为了增强测试时提示调优，我们提出了 DynaPrompt，即动态测试时提示调优的简称，旨在利用相关的数据分布信息同时减少误差累积。基于在线提示缓冲区，DynaPrompt 在调优过程中为每个测试样本自适应地选择并优化相关提示。具体而言，我们引入了一种基于两个指标的动态提示选择策略：预测熵和概率差。针对未见测试数据信息，我们开发了动态提示追加机制，允许缓冲区追加新提示并删除不活跃的提示。通过这种方式，提示得到了优化以利用特定测试数据上的有益信息，同时缓解了误差累积。在十四个数据集上的实验证明了动态测试时提示调优的有效性。