TagOOD：基于视觉语言表示与类心学习的异常分布检测新方法
计算机视觉与模式识别
2024-08-29 v1
摘要
多模态融合正在快速发展，利用视觉和语言等数据可增强表征，提高各种任务的性能。现有异常分布检测方法（该领域的 AI 模型在现实场景中遇见未见数据）高度依赖整体图像特征。这些图像级特征可能包含干扰信息，限制异常分布检测的性能。本文提出 TagOOD，一种新方法，利用视觉语言表示实现标签无关的对象特征从整体图像中解耦。这种分解 enables 对对象语义进行更聚焦的分析，从而增强异常分布检测性能。随后，TagOOD 在提取的对象特征上训练一个轻量级网络，以学习代表性类心。这些类心捕获 IND 对象类的中心倾向，最小化在异常分布检测期间对无关图像特征的影响。最后，我们通过计算学习类心与测试样本之间的基于距离的度量作为异常分布得分来高效检测异常分布样本。我们在多个基准数据集上进行大规模实验，证明 TagOOD 在现有异常分布检测方法中具有优越性能。这一工作为进一步探索多模态信息在异常分布检测中的应用提供了新视角，并具有广泛的应用潜力。
引用
@article{arxiv.2408.15566,
title = {TagOOD: A Novel Approach to Out-of-Distribution Detection via Vision-Language Representations and Class Center Learning},
author = {Jinglun Li and Xinyu Zhou and Kaixun Jiang and Lingyi Hong and Pinxue Guo and Zhaoyu Chen and Weifeng Ge and Wenqiang Zhang},
journal= {arXiv preprint arXiv:2408.15566},
year = {2024}
}
备注
Accepted by ACMMM2024