利用预训练模型生成失效分析三元组
计算与语言
2022-11-01 v1 机器学习
应用统计
摘要
预训练语言模型近期在自然语言处理（NLP）领域的文本摘要、生成与问答任务中受到关注。这源于Transformer模型引入的创新及其相较循环神经网络模型（长短期记忆网络（LSTM））的压倒性性能。本文中，我们利用诸如Transformer模型等预训练因果语言模型的注意力机制，用于生成失效分析三元组（FATs）这一下游任务——即半导体行业中分析缺陷组件的一系列步骤。我们比较了不同Transformer模型在该生成任务上的表现，观察到生成式预训练Transformer 2（GPT2）在失效分析三元组生成（FATG）任务上优于其他Transformer模型。具体而言，我们观察到GPT2（基于15亿参数训练）在ROUGE指标上大幅优于预训练BERT、BART和GPT3。此外，我们引入Levenshtein序列评估指标（LESE）以更好地评估结构化FAT数据，并表明其相较现有指标与人工判断完全一致。
引用
@article{arxiv.2210.17497,
title = {Leveraging Pre-trained Models for Failure Analysis Triplets Generation},
author = {Kenneth Ezukwoke and Anis Hoayek and Mireille Batton-Hubert and Xavier Boucher and Pascal Gounet and Jerome Adrian},
journal= {arXiv preprint arXiv:2210.17497},
year = {2022}
}
备注
33 pages, 11 figures, 9 tables