用于半导体制造中无监督故障检测的时序数据生成式预训练
机器学习
2024-03-28 v2 人工智能
摘要
本文介绍了 TRACE-GPT，即基于卷积嵌入与生成式预训练 Transformer 的时序异常检测（Time-seRies Anomaly-detection with Convolutional Embedding and Generative Pre-trained Transformers）。TRACE-GPT 旨在对单变量时序传感器数据进行预训练，并在半导体制造中的无标签数据集上检测故障。在半导体行业中，从正常数据中分类异常时序传感器数据十分重要，因为这直接关系到晶圆缺陷。然而，训练数据规模小、无标签，甚至混合且缺乏足够异常样本，使得分类任务困难。在本研究中，我们利用时序卷积嵌入和生成式预训练 Transformer（GPT）捕获时序数据特征，并使用交叉熵损失从正常序列中分类异常序列。我们证明了我们的模型在公开数据集加州大学河滨分校（UCR）时序分类档案以及我们化学气相沉积（CVD）设备的工艺日志上均优于以往的无监督模型。我们的模型在所有数据集的等错误率（EER）下均取得最高的 F1 分数，且在公开数据集上仅比有监督的当前最优基线低 0.026。
引用
@article{arxiv.2309.11427,
title = {Generative Pre-Training of Time-Series Data for Unsupervised Fault Detection in Semiconductor Manufacturing},
author = {Sewoong Lee and JinKyou Choi and Min Su Kim},
journal= {arXiv preprint arXiv:2309.11427},
year = {2024}
}