HDL-GPT：高质量 HDL 即万能之钥
机器学习
2024-07-29 v1 人工智能
摘要
本文提出硬件描述语言生成预训练变换器 (Hardware Description Language Generative Pre-trained Transformers, HDL-GPT)，一种新方法，利用开源 HDL 代码储存库训练优质大型代码模型。本文的核心假设是，高质量 HDL 即万能之钥，可创建性能卓越且具广泛零样本泛化能力的模型。本文阐述了从开源 HDL 代码中精选和增强大型语料库的方法，通过谨慎的提示和上下文维护将高度可变质量数据转化为高质量数据。我们演示，HDL 语料库的精选、筛选和增强可产生强大模型，超越当前最先进模型。我们还探讨了不同微调方法对结果质量的影响。我们描述了在多种微调 SOTA 大语言模型上的实验结果，印证了我们的主张。在当前基准测试中，针对 HDL 电路解释、代码生成、形式化和仿真测试台创建、诊断错误及修复错误等任务，HDL-GPT 相较于现有最先进模型实现了 50% 至 200% 的改进。HDL-GPT 为电路设计任务的高级模型训练技术开发开辟了新方向。
引用
@article{arxiv.2407.18423,
title = {HDL-GPT: High-Quality HDL is All You Need},
author = {Bhuvnesh Kumar and Saurav Nanda and Ganapathy Parthasarathy and Pawan Patil and Austin Tsai and Parivesh Choudhary},
journal= {arXiv preprint arXiv:2407.18423},
year = {2024}
}
备注
DAC 2024 Invited Paper