利用离群标签暴露的零样本分布外检测

随着像CLIP这样的视觉-语言模型被广泛应用于零样本任务并在分布内数据上取得显著性能，在零样本设置中检测并拒绝分布外输入对于确保此类模型在运行中的安全性变得至关重要。大多数现有的零样本分布外检测器依赖于基于分布内类别标签的提示来引导CLIP对分布内图像进行分类并拒绝分布外图像。在这项工作中，我们转而提出利用大量多样的辅助离群类别标签作为CLIP的伪分布外类别文本提示，以增强零样本分布外检测，我们将这种方法称为离群标签暴露。其关键直觉是，分布内图像预期与这些离群类别提示的相似度低于分布外图像。一个问题是，原始类别标签通常包含噪声标签，例如分布内标签的同义词，这使得基于原始离群标签暴露的检测无效。为解决此问题，我们引入了一个离群原型学习模块，该模块利用离群标签的提示嵌入来学习少量关键的离群原型，用于基于嵌入相似性的分布外评分。此外，离群类别及其原型可能与分布内类别松散耦合，导致它们之间出现不可分割的决策区域。因此，我们还引入了一个离群标签生成模块，该模块合成我们的离群原型和分布内类别嵌入，以生成介于两者之间的离群原型，从而进一步校准离群标签暴露中的检测。尽管方法简单，但大量实验表明，离群标签暴露显著提升了检测性能，并在大规模分布外和困难分布外检测基准上取得了新的最先进性能。