合成近边界OOD样本用于分布外检测

预训练的视觉-语言模型在检测分布外样本方面表现出了卓越的能力。然而，一些具有挑战性的OOD样本，它们在图像特征空间中与分布内数据接近，仍然可能导致错误分类。扩散模型和多模态大语言模型等基础模型的出现为这个问题提供了潜在的解决方案。在这项工作中，我们提出了SynOOD，一种新颖的方法，利用基础模型生成合成的、具有挑战性的OOD数据来微调CLIP模型，从而增强InD和OOD样本之间的边界级区分。我们的方法使用由MLLM的上下文提示引导的迭代修复过程，以生成细微的、与边界对齐的OOD样本。这些样本通过基于能量分数等OOD分数梯度的噪声调整进行精炼，有效地从InD/OOD边界进行采样。利用这些精心合成的图像，我们微调CLIP图像编码器和从文本编码器导出的负标签特征，以加强近边界OOD样本与一组负标签之间的联系。最终，SynOOD在大规模ImageNet基准测试上实现了最先进的性能，且参数和运行时间增加极少。我们的方法显著超越了现有方法，代码可在https://github.com/Jarvisgivemeasuit/SynOOD获取。