MMCircuitEval：用于评估 LLM 的全面多模态电路聚焦基准
机器学习
2025-07-29 v1 人工智能
摘要
多模态大语言模型 的出现为电子设计自动化 (EDA) 中的自动化和增强带来了广阔的前景。然而，由于现有基准的范围狭窄，在电路设计中全面评估这些模型仍具有挑战性。为了弥合这一差距，我们引入了 MMCircuitEval，这是第一个专门设计用于在多样 EDA 任务中全面评估 MLLM 性能的多模态基准。MMCircuitEval 包含 3614 个精心策划的问答 (QA) 对，跨越数字和模拟电路，涵盖关键 EDA 阶段——从通用知识和规范到前端和后端设计。这些 QA 对源自教科书、技术题库、数据表和真实世界文档，每个 QA 对都经过严格的专家审查以确保准确性和相关性。我们的基准独特地按设计阶段、电路类型、测试能力（知识、理解、推理、计算）和难度级别对问题进行分类，从而能够详细分析模型的能力和局限性。广泛的评估揭示了现有 LLM 之间存在显著的性能差距，特别是在后端设计和复杂计算方面，突出了对针对性训练数据集和建模方法的关键需求。MMCircuitEval 为推进 EDA 中的 MLLM 提供了基础资源，促进了其向真实世界电路设计工作流的整合。我们的基准可在 https://github.com/cure-lab/MMCircuitEval 获取。
引用
@article{arxiv.2507.19525,
title = {MMCircuitEval: A Comprehensive Multimodal Circuit-Focused Benchmark for Evaluating LLMs},
author = {Chenchen Zhao and Zhengyuan Shi and Xiangyu Wen and Chengjie Liu and Yi Liu and Yunhao Zhou and Yuxiang Zhao and Hefei Feng and Yinan Zhu and Gwok-Waa Wan and Xin Cheng and Weiyu Chen and Yongqi Fu and Chujie Chen and Chenhao Xue and Guangyu Sun and Ying Wang and Yibo Lin and Jun Yang and Ning Xu and Xi Wang and Qiang Xu},
journal= {arXiv preprint arXiv:2507.19525},
year = {2025}
}
备注
10 pages, 1 figure, 5 tables. To appear in ICCAD 2025