SemiKong：面向半导体行业的专用大语言模型的构建、训练与评估
计算与语言
2024-11-25 v2
摘要
大型语言模型（LLM）已展现出解决半导体行业部分问题的潜力，但常为通用模型，缺乏针对该领域独特挑战的专业知识，例如半导体器件和工艺的精细物理与化学。SemiKong 是首个面向半导体领域的行业专用大语言模型，为开发定制化的专有模型提供了基础。SemiKong 1.0 旨在构建一个具备专科水平理解刻蚀问题的基础模型。我们的主要贡献包括：（a）构建半导体相关文本的全面语料库；（b）创建具备深入半导体知识的基础模型；（c）引入集成专家知识的框架，从而推动领域特定AI模型的评估进程。通过使用我们精选的数据集对预训练模型进行微调，实验表明SemiKong 在various半导体制造和设计任务中超越了更大规模的通用LLM。我们的广泛实验强调了发展领域特定LLM作为面向公司或工具专有模型基础的重要性，为半导体领域的进一步研究与应用铺平了道路。代码和数据集将在 https://github.com/aitomatic/semikong 提供。
引用
@article{arxiv.2411.13802,
title = {SemiKong: Curating, Training, and Evaluating A Semiconductor Industry-Specific Large Language Model},
author = {Christopher Nguyen and William Nguyen and Atsushi Suzuki and Daisuke Oku and Hong An Phan and Sang Dinh and Zooey Nguyen and Anh Ha and Shruti Raghavan and Huy Vo and Thang Nguyen and Lan Nguyen and Yoshikuni Hirayama},
journal= {arXiv preprint arXiv:2411.13802},
year = {2024}
}
备注
On-going work