CIRCUIT：面向 LLM 电路解释与推理能力的基准
机器学习
2025-02-13 v1 人工智能
摘要
大语言模型 (LLM) 的作用在模拟电路设计中尚未得到广泛探索，这可能会受益于超越传统优化技术的基于推理的方法。特别是，尽管 LLM 正在不断增长，但尚无基准用于评估 LLM 对电路的推理能力。因此，我们创建了 CIRCUIT 数据集，包含 510 对涵盖各类模拟电路主题的问答对。我们在本数据集上表现最佳的模型 GPT-4o 在最终数值答案评估中达到 48.04% 的准确率。为评估 LLM 在本数据集上的鲁棒性，我们引入了独特功能，通过将问题分组为单元测试来实现类似单元测试的评估。在这种情况下，GPT-4o 只能通过 27.45% 的单元测试，这表明即使是最先进的 LLM 在理解电路方面仍存在挑战，这需要多层次推理，尤其是涉及电路拓扑时更为如此。这个电路特定基准突显了 LLM 的局限性，为推动其在模拟集成电路设计中的应用提供了宝贵见解。
引用
@article{arxiv.2502.07980,
title = {CIRCUIT: A Benchmark for Circuit Interpretation and Reasoning Capabilities of LLMs},
author = {Lejla Skelic and Yan Xu and Matthew Cox and Wenjie Lu and Tao Yu and Ruonan Han},
journal= {arXiv preprint arXiv:2502.07980},
year = {2025}
}