WaferSAGE:基于合成数据生成与评分准则引导强化学习的大语言模型驱动晶圆缺陷分析
人工智能
2026-05-12 v4
摘要
我们提出了WaferSAGE,一个使用小型视觉语言模型进行晶圆缺陷视觉问答的框架。为了解决半导体制造中的数据稀缺问题,我们提出了一种包含结构化评分准则生成的三阶段合成流水线,以实现精确评估。从有限的标记晶圆图开始,我们采用基于聚类的清洗来过滤标签噪声,然后使用视觉语言模型生成全面的缺陷描述,并将其转换为结构化的评估评分准则。这些评分准则指导视觉问答对的合成,确保覆盖缺陷类型识别、空间分布、形态和根因分析。我们的双重评估框架通过贝叶斯优化将基于规则的指标与LLM-Judge分数对齐,从而实现可靠的自动化评估。通过基于课程的强化学习,结合分组序列策略优化(GSPO)和与评分准则对齐的奖励,我们40亿参数的Qwen3-VL模型达到了6.493的LLM-Judge分数,接近Gemini-3-Flash(7.149),同时实现了完全的本地部署。我们证明,经过领域特定训练的小型模型可以在专业工业视觉理解中超越专有的大型模型,为半导体制造中保护隐私、经济高效的部署提供了一条可行路径。
引用
@article{arxiv.2604.27629,
title = {WaferSAGE: Large Language Model-Powered Wafer Defect Analysis via Synthetic Data Generation and Rubric-Guided Reinforcement Learning},
author = {Ke Xu and Zhongyuan Lian},
journal= {arXiv preprint arXiv:2604.27629},
year = {2026}
}
备注
16 pages, 3 figures, 8 tables