面向零样态异常检测与推理的多模态大语言模型
计算机视觉与模式识别
2025-03-18 v2 计算与语言
摘要
零样态异常检测（Zero-Shot Anomaly Detection, ZSAD）是一种新兴的异常检测方法。与传统需要大量正常样本才能训练模型的无监督异常检测设置不同，ZSAD 更适用于数据受限的实际场景。最近，多模态大语言模型（Multimodal Large Language Models, MLLMs）在 various vision 任务中展现出革命性的推理能力。然而，由于缺乏相应的数据集和基准，图像异常的推理仍未得到充分探索。为促进异常检测与推理的研究，我们构建了第一个视觉指令调优数据集 Anomaly-Instruct-125k，并提出了评估基准 VisA-D&R。通过我们的基准进行调查，我们发现当前的 MLLMs 如 GPT-4o 无法准确检测和描述图像中细粒度异常细节。为此，我们提出了 Anomaly-Onevision（Anomaly-OV），即第一个专门的视觉助手，用于 ZSAD 与推理。灵感来自人类在视觉检查中的行为，Anomaly-OV 利用“双眼特征匹配”（Look-Twice Feature Matching, LTFM）机制来自适应选择并突出显示异常视觉标记。大量实验表明，Anomaly-OV 在检测和推理方面均显著优于先进的通用模型。本文还提供了针对医疗和 3D 异常检测的扩展，以供未来研究。项目页面链接：https://xujiacong.github.io/Anomaly-OV/。
引用
@article{arxiv.2502.07601,
title = {Towards Zero-Shot Anomaly Detection and Reasoning with Multimodal Large Language Models},
author = {Jiacong Xu and Shao-Yuan Lo and Bardia Safaei and Vishal M. Patel and Isht Dwivedi},
journal= {arXiv preprint arXiv:2502.07601},
year = {2025}
}
备注
19 pages, 10 figures, accepted by CVPR 2025