CVPR2023视觉异常与新奇检测挑战赛亚军方案：面向数据中心异常检测的多模态提示
计算机视觉与模式识别
2023-09-06 v2
摘要
本技术报告介绍了Segment Any Anomaly团队在CVPR2023视觉异常与新奇检测（VAND）挑战赛中的获胜方案。超越语言提示等单模态提示，我们提出了一种新框架，即Segment Any Anomaly +（SAA），用于以多模态提示正则化级联现代基础模型进行零样本异常分割。受Segment Anything等基础模型强大零样本泛化能力启发，我们首先探索它们的组装（SAA）以利用多样多模态先验知识进行异常定位。随后，我们进一步引入源自领域专家知识和目标图像上下文的多模态提示（SAA）以实现基础模型向异常分割的无参数适配。所提SAA模型在零样本设定下于包括VisA和MVTec-AD在内的多个异常分割基准上取得了最先进性能。我们将发布CVPR2023 VAN获胜方案的代码。
引用
@article{arxiv.2306.09067,
title = {2nd Place Winning Solution for the CVPR2023 Visual Anomaly and Novelty Detection Challenge: Multimodal Prompting for Data-centric Anomaly Detection},
author = {Yunkang Cao and Xiaohao Xu and Chen Sun and Yuqi Cheng and Liang Gao and Weiming Shen},
journal= {arXiv preprint arXiv:2306.09067},
year = {2023}
}
备注
The first two author contribute equally. CVPR workshop challenge report. arXiv admin note: substantial text overlap with arXiv:2305.10724