AutoBench：基于 LLM 的 HDL 设计自动化测试平台生成与评估
软件工程
2024-08-21 v2 编程语言
摘要
在数字电路设计中，测试平台是仿真式硬件验证的基石。传统方法论在仿真式硬件验证期间的测试平台生成仍存在部分手动环节，导致在测试各种情景时效率低下，并需耗费昂贵时间。大语言模型 (LLM) 在自动化电路设计流程中展现出潜力，但直接应用于生成测试平台会导致通过率较低。为此，本文引入 AutoBench，即首个针对数字电路设计的 LLM 测试平台生成器，仅需对设计对象 (DUT) 的描述，即可自动生成全面的测试平台。在 AutoBench 中，实现了混合测试平台结构和自检系统。为验证生成的测试平台，我们还引入了自动化测试平台评估框架，从多个角度评估生成测试平台的质量。实验结果表明，AutoBench 在测试平台 pass@1 比率上比仅直接使用 LLM 生成测试平台的基线提升了 57%。对于 75 个时序电路，AutoBench 的测试平台 pass@1 比率是基线的 3.36 倍。源代码和实验结果已在本链接开源：https://github.com/AutoBench/AutoBench
引用
@article{arxiv.2407.03891,
title = {AutoBench: Automatic Testbench Generation and Evaluation Using LLMs for HDL Design},
author = {Ruidi Qiu and Grace Li Zhang and Rolf Drechsler and Ulf Schlichtmann and Bing Li},
journal= {arXiv preprint arXiv:2407.03891},
year = {2024}
}