Hardware Phi-1.5B：编码硬件领域特定知识的大语言模型

在快速发展的半导体行业中，研究、设计、验证和制造紧密相连，大语言模型在彻底改变硬件设计和安全验证方面具有巨大潜力。然而，主要挑战在于硬件特定问题的复杂性，这些问题在预训练阶段通常获得的自然语言或软件代码知识中未能得到充分解决。此外，硬件领域特定数据集的稀缺为开发基础模型构成了重大障碍。针对这些挑战，本文介绍了 Hardware Phi 1.5B，这是一种专为半导体行业硬件领域定制的创新大语言模型。我们开发了一个包含小、中、大子集的专用分层数据集，并集中精力使用中数据集进行预训练。这种方法利用了 Phi 1.5B 模型紧凑而高效的架构。创建这个首个预训练的、硬件领域特定的大语言模型标志着一项重大进步，它在硬件设计和验证任务中提供了改进的性能，并展示了 AI 在半导体部门应用的光明前景。