Myriad：通过引入视觉专家实现工业异常检测的大多模态模型
计算机视觉与模式识别
2025-01-20 v3
摘要
由于训练配置的限制，传统的工业异常检测（IAD）方法必须为每个部署场景训练特定模型，难以满足现代设计与制造的需求。相反，大多模态模型（LMMs）在各种视觉任务上展现出卓越的泛化能力，其感知与理解能力暗示了LMMs应用于IAD任务的潜力。然而，我们观察到，尽管LMMs在文本领域拥有丰富的工业异常检测知识，但由于文本与视觉领域之间的模态鸿沟，LMMs无法利用这些知识。为激发LMMs中的相关知识并使其适应异常检测任务，我们引入现有IAD方法作为视觉专家，提出一种应用于工业异常检测的新颖大多模态模型（简称为Myriad）。具体而言，我们利用视觉专家生成的异常图作为LMMs的引导，使视觉模型关注异常区域。随后，视觉特征通过适配器进行调制以适配异常检测任务，并与视觉专家引导及人类指令一同输入语言模型以生成最终输出。在MVTec-AD、VisA和PCB Bank基准上的大量实验表明，我们的方法不仅优于最先进的方法，还继承了LMMs在IAD领域的灵活性与指令遵循能力。源代码与预训练模型已公开于\url{https://github.com/tzjtatata/Myriad}。
引用
@article{arxiv.2310.19070,
title = {Myriad: Large Multimodal Model by Applying Vision Experts for Industrial Anomaly Detection},
author = {Yuanze Li and Haolin Wang and Shihao Yuan and Ming Liu and Debin Zhao and Yiwen Guo and Chen Xu and Guangming Shi and Wangmeng Zuo},
journal= {arXiv preprint arXiv:2310.19070},
year = {2025}
}
备注
8 pages, 7 figures