OmniAD：基于多模态推理的工业异常检测与理解
计算机视觉与模式识别
2025-05-29 v1
摘要
尽管异常检测已取得显著进展，但生成结合工业知识的详细分析仍是一项挑战。为弥补这一空白，我们引入了 OmniAD，一种统一异常检测与理解以进行细粒度分析的新型框架。OmniAD 是一个结合了视觉与文本推理过程的多模态推理器。视觉推理通过利用 Text-as-Mask Encoding 执行文本生成来实现异常检测，无需手动选择阈值，从而提供详细的检查。随后，视觉引导的文本推理通过整合视觉感知进行全面分析。为增强少样本泛化能力，我们采用了一种结合监督微调 (SFT) 与强化学习 (GRPO) 的综合训练策略，并引入了三个精细的奖励函数。实验结果表明，OmniAD 在 MMAD 基准上达到 79.1 的性能，超越了 Qwen2.5-VL-7B 和 GPT-4o 等模型。它在多个异常检测基准上也展现出优异的结果。这些结果突显了增强视觉感知对于异常理解中有效推理的重要性。所有代码和模型将公开发布。
引用
@article{arxiv.2505.22039,
title = {OmniAD: Detect and Understand Industrial Anomaly via Multimodal Reasoning},
author = {Shifang Zhao and Yiheng Lin and Lu Han and Yao Zhao and Yunchao Wei},
journal= {arXiv preprint arXiv:2505.22039},
year = {2025}
}