基于一致性建模的少样本缺陷图像生成
计算机视觉与模式识别
2024-08-02 v1
摘要
图像生成可以解决缺陷检测中标注数据不足的问题。大多数缺陷生成方法仅针对单一产品进行训练，未考虑多产品之间的一致性，导致生成结果的质量和多样性较差。为解决这些问题，我们提出了 DefectDiffu，一种新颖的文本引导扩散方法，用于对多产品中的产品内背景一致性和产品间缺陷一致性进行建模，并通过调节一致性扰动方向来控制产品类型和缺陷强度，从而实现多样化的缺陷图像生成。首先，我们利用文本编码器分别为解耦集成架构的背景、缺陷和融合部分提供一致性提示，从而将缺陷与正常背景分离。其次，我们提出双自由策略，通过一致性方向的两阶段扰动来生成缺陷图像，从而通过调整扰动尺度来控制产品类型和缺陷强度。此外，DefectDiffu 可以利用缺陷部分的交叉注意力图生成缺陷掩码标注。最后，为了提高小缺陷和掩码的生成质量，我们提出自适应注意力增强损失以增加对缺陷的关注。实验结果表明，DefectDiffu 在生成质量和多样性方面超越了最先进方法，从而有效提升了下游缺陷检测性能。此外，缺陷扰动方向可在不同产品之间迁移，实现零样本缺陷生成，这对解决数据不足问题非常有益。代码可在 https://github.com/FFDD-diffusion/DefectDiffu 获取。
引用
@article{arxiv.2408.00372,
title = {Few-shot Defect Image Generation based on Consistency Modeling},
author = {Qingfeng Shi and Jing Wei and Fei Shen and Zhengtao Zhang},
journal= {arXiv preprint arXiv:2408.00372},
year = {2024}
}