面向分布外检测的视觉-语言模型自校准微调
计算机视觉与模式识别
2024-11-07 v1 人工智能
机器学习
摘要
在开放世界应用中部署可靠的机器学习模型，分布外（OOD）检测至关重要。近期基于 CLIP 的 OOD 检测研究通过利用从分布内（ID）数据中提取的 OOD 特征来正则化提示微调，展现出了可喜的结果。然而，由于前景与背景分解不准确，从 ID 数据中挖掘出的无关上下文可能是虚假的，从而限制了 OOD 检测性能。在本工作中，我们提出了一个新颖的框架，即自校准微调（SCT），以在仅给定少量 ID 数据的情况下缓解该问题，实现有效的 OOD 检测。具体而言，SCT 在原始学习目标的两个组件上分别引入了调节因子。它在训练期间根据具有不同预测不确定性的数据，自适应地引导两个任务之间的优化过程，以校准 OOD 正则化的影响，这与许多基于提示微调的 OOD 检测方法兼容。我们进行了广泛的实验与分析，以表征并证明所提出的 SCT 的有效性。代码已公开发布。
引用
@article{arxiv.2411.03359,
title = {Self-Calibrated Tuning of Vision-Language Models for Out-of-Distribution Detection},
author = {Geng Yu and Jianing Zhu and Jiangchao Yao and Bo Han},
journal= {arXiv preprint arXiv:2411.03359},
year = {2024}
}
备注
accepted by NeurIPS 2024