DeCoOp: 结合分布外检测的鲁棒提示调优

视觉语言模型（如CLIP）在各种下游任务中展示了令人印象深刻的零样本能力。通过少样本提示调优方法可以进一步提升其性能。然而，当前研究分别评估了在基类和新类上学到的提示的性能。这种评估对于现实应用缺乏实用性，因为下游任务无法预先确定数据属于基类还是新类。在本文中，我们探索了一个称为开放世界提示调优（OPT）的问题设置，该设置涉及在基类上调优提示，并在基类和新类的组合上进行评估。通过引入分解提示调优框架（DePT），我们从理论上证明，可以通过将分布外检测融入提示调优来解决OPT，从而增强基类到新类的判别能力。基于DePT，我们提出了一种新颖的提示调优方法，即分解上下文优化（DeCoOp），该方法引入了新类检测器和子分类器，以进一步增强基类和新类的判别能力。在11个基准数据集上的实验结果验证了DePT的有效性，并表明DeCoOp优于当前最先进的方法，平均准确率提高了2%。