利用度量学习与视觉基础模型探索通用工业场景中的小样本缺陷分割
计算机视觉与模式识别
2025-02-12 v2
摘要
工业缺陷分割对制造质量控制至关重要。由于训练缺陷样本稀缺，小样本语义分割（FSS）在该领域具有重要价值。然而，现有研究大多将 FSS 应用于处理简单纹理上的缺陷，未考虑更多样化的场景。本文旨在通过探索具有各种缺陷类型的更广泛工业产品中的 FSS 来弥补这一不足。为此，我们贡献了一个新的真实世界数据集，并重新组织了一些现有数据集，以构建一个更全面的小样本缺陷分割（FDS）基准。在此基准上，我们深入研究了基于度量学习的 FSS 方法，包括基于元学习的方法和基于视觉基础模型（VFMs）的方法。我们观察到，现有的基于元学习的方法通常不太适合此任务，而 VFMs 则具有巨大潜力。我们进一步系统地研究了各种 VFMs 在此任务中的适用性，涉及两种范式：特征匹配和使用 Segment Anything（SAM）模型。我们提出了一种基于特征匹配的新型高效 FDS 方法。同时，我们发现 SAM2 通过其视频跟踪模式在解决 FDS 方面特别有效。贡献的数据集和代码将在以下地址提供：https://github.com/liutongkun/GFDS。
引用
@article{arxiv.2502.01216,
title = {Exploring Few-Shot Defect Segmentation in General Industrial Scenarios with Metric Learning and Vision Foundation Models},
author = {Tongkun Liu and Bing Li and Xiao Jin and Yupeng Shi and Qiuying Li and Xiang Wei},
journal= {arXiv preprint arXiv:2502.01216},
year = {2025}
}