FabGPT：用于复杂晶圆缺陷知识查询的高效大多模态模型
计算机视觉与模式识别
2025-02-18 v2 人工智能
硬件体系结构
机器学习
摘要
智能是推进集成电路（IC）制造的关键因素。近期大型多模态模型（LMM）的突破解锁了理解图像和文本的额外能力，推动了智能制造。利用 LMM 的强大功能，我们引入 FabGPT，这是一个为晶圆缺陷知识查询定制的大型多模态模型。FabGPT 在扫描电子显微镜（SEM）图像中进行缺陷检测、执行根本原因分析，并提供制造工艺的专家问答。FabGPT 将增强的多模态特征与自动检测复杂晶圆背景下微小缺陷的能力相匹配，减少了人工阈值设置的主观性。此外，提出的调制模块和交互式语料训练策略将晶圆缺陷知识嵌入预训练模型，从而有效平衡与缺陷知识相关的 Q&A 查询与原始知识之间的关系，减轻模态偏差问题。针对实际 fab 数据的实验表明，FabGPT 在晶圆缺陷检测和知识查询方面实现了显著的性能提升。
引用
@article{arxiv.2407.10810,
title = {FabGPT: An Efficient Large Multimodal Model for Complex Wafer Defect Knowledge Queries},
author = {Yuqi Jiang and Xudong Lu and Qian Jin and Qi Sun and Hanming Wu and Cheng Zhuo},
journal= {arXiv preprint arXiv:2407.10810},
year = {2025}
}
备注
Published in ACM/IEEE International Conference On Computer Aided Design (ICCAD) 2024. Corresponding Author: Qi Sun ([email protected])