通用多模态分布外检测框架
计算机视觉与模式识别
2024-12-30 v1 机器学习
摘要
分布外（OOD）检测识别与训练数据不同的测试样本，这对确保机器学习（ML）系统的安全性与可靠性至关重要。尽管已开发大量方法来检测单模态 OOD 样本，仅少数关注多模态 OOD 检测。当前基于对比学习的方法主要研究给定图像及其对应文本描述均来自新领域的场景下的多模态 OOD 检测。然而，ML 系统的真实部署可能面临由传感器故障、恶劣天气与环境变化等多因素引起的更多异常场景。因此，本工作的目标是同时以细粒度方式检测来自多个不同 OOD 场景的样本。为达成此目标，我们提出一种称为 WOOD 的通用弱监督 OOD 检测框架，其结合二分类器与对比学习组件以兼取两者之长。为更好区分分布内（ID）与 OOD 样本的潜在表示，我们采用 Hinge 损失约束其相似性。此外，我们开发一种新的评分度量来整合二分类器与对比学习的预测结果以识别 OOD 样本。我们在多个真实数据集上评估所提 WOOD 模型，实验结果表明 WOOD 模型在多模态 OOD 检测上优于最先进方法。重要的是，我们的方法能够在三种不同 OOD 场景中同时实现高检测精度。源代码将在发表后公开。
引用
@article{arxiv.2307.13069,
title = {General-Purpose Multi-Modal OOD Detection Framework},
author = {Viet Duong and Qiong Wu and Zhengyi Zhou and Eric Zavesky and Jiahe Chen and Xiangzhou Liu and Wen-Ling Hsu and Huajie Shao},
journal= {arXiv preprint arXiv:2307.13069},
year = {2024}
}