利用潜在扩散模型实现无训练的分布内数据增强用于表面缺陷检测
计算机视觉与模式识别
2024-07-12 v2 机器学习
摘要
缺陷检测是识别生产样本中缺陷的任务。通常，缺陷检测分类器在由正常样本（负样本）和带缺陷样本（正样本）组成的真实数据上训练，后者通常少于正常样本。最先进的数据增强方法通过叠加人工物体到正常样本上以合成缺陷数据，以缓解训练数据不平衡的问题。这些技术常产生分布外图像，导致系统学习了什么不是正常样本，却无法准确识别缺陷的特征。本文引入DIAG，即基于扩散模型的无训练分布内异常生成管道，用于数据增强。不同于常规图像生成技术，我们实现了人类在环管道，让领域专家通过文本描述和区域定位向模型提供多模态指导。这种战略性转变增强了结果的可解释性，促进了更健全的人类反馈循环，便于迭代改进生成输出。显著的是，我们的方法以零样本方式运行，无需耗时的微调程序，同时实现了卓越的性能。我们在具有挑战性的KSDD2数据集上展示了DIAG相对于最先进数据增强方法的有效性和通用性，当正样本可用时，AP提升约18%，不可用时提升约28%。源代码已公开于 https://github.com/intelligolabs/DIAG。
引用
@article{arxiv.2407.03961,
title = {Leveraging Latent Diffusion Models for Training-Free In-Distribution Data Augmentation for Surface Defect Detection},
author = {Federico Girella and Ziyue Liu and Franco Fummi and Francesco Setti and Marco Cristani and Luigi Capogrosso},
journal= {arXiv preprint arXiv:2407.03961},
year = {2024}
}
备注
Accepted at the 21st International Conference on Content-Based Multimedia Indexing (CBMI 2024)