PICBench：面向光子集成电路设计的大语言模型基准测试
机器学习
2025-02-07 v1 硬件体系结构
摘要
尽管大语言模型（LLMs）在自动化数字芯片设计的各种任务中显示出巨大潜力，但光子集成电路（PICs）领域——一种有前景的先进芯片设计方案——在此背景下仍相对未被探索。由于光子芯片设计涉及大量重复性代码，PICs 的设计耗时且容易出错。本文中，我们介绍了 PICBench，这是首个专门设计用于利用 LLMs 自动化生成 PIC 设计的基准测试与评估框架，其生成输出采用网表形式。我们的基准测试包含数十个精心设计的 PIC 设计问题，涵盖从基础器件设计到更复杂的电路级设计。它通过使用开源模拟器比较仿真输出与专家编写的解决方案，自动评估生成的 PIC 设计的语法和功能。我们评估了一系列现有的大语言模型，同时还对各种提示工程技术进行了比较测试，以提升 LLMs 在自动化 PIC 设计中的性能。结果揭示了 LLMs 在 PIC 设计领域面临的挑战和潜力，为优化该领域自动化所需进一步研究和开发的关键领域提供了见解。我们的基准测试和评估代码可在 https://github.com/PICDA/PICBench 获取。
引用
@article{arxiv.2502.03159,
title = {PICBench: Benchmarking LLMs for Photonic Integrated Circuits Design},
author = {Yuchao Wu and Xiaofei Yu and Hao Chen and Yang Luo and Yeyu Tong and Yuzhe Ma},
journal= {arXiv preprint arXiv:2502.03159},
year = {2025}
}