CircuitSense：连接工程设计过程中视觉理解与符号推理的分层MLLM基准
计算机视觉与模式识别
2026-03-03 v2
摘要
工程设计通过从系统规范到组件实现的分层抽象来运作，在每个层级都需要视觉理解与数学推理。尽管多模态大语言模型（MLLM）在自然图像任务上表现出色，但其从技术图表中提取数学模型的能力仍未被探索。我们提出 \textbf{CircuitSense}，一个通过涵盖组件级原理图到系统级框图的8,006余道问题来评估此分层电路理解能力的综合基准。我们的基准独特地考察了完整的工程工作流：感知、分析和设计，并特别强调从视觉输入推导符号方程这一关键但未充分探索的能力。我们引入了一个分层的合成生成流水线，包含基于网格的原理图生成器和带有自动推导符号方程标签的框图生成器。对包括闭源和开源模型在内的六个SOTA MLLM的综合评估揭示了视觉到数学推理方面的根本局限性。闭源模型在涉及组件识别和拓扑识别的感知任务上达到85\%以上的准确率，但其在符号推导和分析推理上的性能降至19\%以下，暴露了视觉解析与符号推理之间的关键鸿沟。具备更强符号推理能力的模型一致地实现了更高的设计任务准确率，证实了数学理解在电路综合中的基础作用，并确立了符号推理作为工程能力的关键指标。
引用
@article{arxiv.2509.22339,
title = {CircuitSense: A Hierarchical MLLM Benchmark Bridging Visual Comprehension and Symbolic Reasoning in Engineering Design Process},
author = {Arman Akbari and Jian Gao and Yifei Zou and Mei Yang and Jinru Duan and Dmitrii Torbunov and Yanzhi Wang and Yihui Ren and Xuan Zhang},
journal= {arXiv preprint arXiv:2509.22339},
year = {2026}
}