DiagramNet: 面向非标准系统级图表的端到端识别框架与数据集
人工智能
2026-05-05 v1
摘要
系统级图表编码了芯片设计的架构蓝图，指定了模块功能、数据流和接口协议。然而，非标准化的符号和结构化训练数据的稀缺阻碍了现有的多模态大语言模型 (MLLM) 识别这些图表。为了解决这一差距，我们引入了 DiagramNet，这是首个面向系统级图表的多模态数据集，包含 10,977 个连接标注和 15,515 个跨四个任务（列表、定位、连接和电路问答）的思维链问答对。基于此数据集，我们提出了一个渐进式训练流程以及一个解耦的多智能体工作流，该工作流将复杂的视觉推理分解为感知、推理和知识三个阶段。在 DiagramNet 基准测试上，将我们的 3B 参数模型与所提出的工作流相结合，在端到端评估中超越了 2025 年 EDA 精英挑战赛冠军，并且性能是 GPT-5、Claude-Sonnet-4 和 Gemini-2.5-Pro 的两倍以上。值得注意的是，该工作流具有超越我们模型的泛化能力，将 Gemini-2.5-Pro 的任务 1 性能提升了 128.7 倍，将 GPT-5 的性能提升了 12.4 倍。此外，仅需 60 张图像用于检测器适配，该方法即可有效迁移到 AMSBench，实现了与 GPT-5 和 Claude-Sonnet-4 相当的零样本连接推理能力，同时超越了 AMS 最先进方法 Netlistify。
引用
@article{arxiv.2605.01338,
title = {DiagramNet: An End-to-End Recognition Framework and Dataset for Non-Standard System-Level Diagrams},
author = {Jincheng Lou and Ruohan Xu and Jiapeng Li and Junyin Pi and Runzhe Tao and Weijian Fan and Xiao Tan and Guojie Luo and Yibo Lin},
journal= {arXiv preprint arXiv:2605.01338},
year = {2026}
}
备注
13 pages, 7 figures. Preprint