MetaUAS:基于单提示元学习的通用异常分割
计算机视觉与模式识别
2025-05-15 v1 人工智能
摘要
零样本和少样本视觉异常分割依赖于强大的视觉语言模型,通过人工设计的文本提示检测未知异常。然而,视觉表征天然独立于语言。本文探索了纯视觉基础模型作为广泛使用的视觉语言模型的替代方案,用于通用视觉异常分割。我们提出了一种新范式,将异常分割统一为变化分割。这一范式使我们能够利用来自现有图像数据集的大规模合成图像对,这些图像对包含对象级和局部区域变化,独立于目标异常数据集。我们提出了一种单提示元学习框架用于通用异常分割 (MetaUAS),该框架在该合成数据集上进行训练,然后能够良好地泛化以分割真实世界中任何新颖或未见过的视觉异常。为处理提示图像和查询图像之间的几何变异,我们提出了软特征对齐模块,将配对图像变化感知与单图像语义分割连接起来。这项工作是首个实现无需依赖特殊异常检测数据集和预训练视觉语言模型即可进行通用异常分割的工作。我们的方法仅需一个正常图像提示即可高效分割任何异常,无需语言指导。MetaUAS 在零样本、少样本甚至全监督异常分割方法上显著优于先前方法。代码和预训练模型可在 https://github.com/gaobb/MetaUAS 获取。
引用
@article{arxiv.2505.09265,
title = {MetaUAS: Universal Anomaly Segmentation with One-Prompt Meta-Learning},
author = {Bin-Bin Gao},
journal= {arXiv preprint arXiv:2505.09265},
year = {2025}
}
备注
Accepted by NeurIPS 2024