AMSbench：评估AMS电路中MLLM能力的综合基准
机器学习
2025-10-14 v2 人工智能
摘要
模拟/混合信号（AMS）电路在集成电路（IC）工业中发挥着关键作用。然而，由于其难度和复杂性，自动化模拟/混合信号（AMS）电路设计一直是一个长期存在的挑战。尽管多模态大语言模型（MLLM）的最新进展为支持AMS电路分析和设计提供了有前景的潜力，但当前的研究通常在该领域内的孤立任务上评估MLLM，缺乏一个跨各种与AMS相关的挑战系统评估模型能力的综合基准。为了填补这一空白，我们引入了AMSbench，这是一个旨在评估MLLM在电路原理图感知、电路分析和电路设计等关键任务上性能的基准套件。AMSbench包含约8000个测试问题，涵盖多个难度级别，并评估了八个 prominent 模型，涵盖开源和专有解决方案，如Qwen 2.5-VL和Gemini 2.5 Pro。我们的评估突出了当前MLLM的显著局限性，特别是在复杂的多模态推理和复杂的电路设计任务中。这些结果强调了提升MLLM对电路特定知识的理解和有效应用的必要性，从而缩小相对于人类专业知识现有的性能差距，并迈向完全自动化的AMS电路设计工作流。我们的数据在此URL发布。
引用
@article{arxiv.2505.24138,
title = {AMSbench: A Comprehensive Benchmark for Evaluating MLLM Capabilities in AMS Circuits},
author = {Yichen Shi and Ze Zhang and Hongyang Wang and Zhuofu Tao and Zhongyi Li and Bingyu Chen and Yaxin Wang and Zhen huang and Xuhua Liu and Quan Chen and Zhiping Yu and Ting-Jung Lin and Lei He},
journal= {arXiv preprint arXiv:2505.24138},
year = {2025}
}