基于掩码自编码器的自预训练微电子缺陷检测
计算机视觉与模式识别
2025-08-13 v2
摘要
虽然 transformer 在 various computer vision tasks 中超越了卷积神经网络（CNN），但微电子缺陷检测仍大多依赖 CNN。我们假设，这一差距是由于（a）transformer 需要更多数据，以及（b）（标记的）微电子图像生成程序成本高昂，数据因此稀缺。而在其他领域，预训练于大型自然图像数据集可缓解此问题，但在微电子领域，迁移学习因领域数据与自然图像的差异性而受阻。我们通过自预训练来解决此挑战，即直接在目标数据集上进行预训练，而非其他数据集。我们提出了一种基于掩码自编码器（MAE）的资源高效 vision transformer（ViT）预训练框架，用于微电子缺陷检测。我们使用不到 10,000 张扫描声学显微镜（SAM）图像进行预训练和缺陷检测。我们的实验结果表明，与（a）监督式 ViT、（b）预训练于自然图像数据集的 ViT 以及（c）用于微电子的领先 CNN 缺陷检测模型相比，我们的方法实现了显著的性能提升。此外，可解释性分析揭示，我们的自预训练模型注意力集中于焊料材料中的裂纹等缺陷相关特征，而基线模型常注意力于虚假模式。这表明我们的方法产生了缺陷特定的特征表示，为该数据稀缺领域的更具解释性和可泛化性的 transformer 模型提供了可能。
关键词
引用
@article{arxiv.2504.10021,
title = {Masked Autoencoder Self Pre-Training for Defect Detection in Microelectronics},
author = {Nikolai Röhrich and Alwin Hoffmann and Richard Nordsieck and Emilio Zarbali and Alireza Javanmardi},
journal= {arXiv preprint arXiv:2504.10021},
year = {2025}
}
备注
16 pages, 5 figures