中文

Draw with Thought:释放多模态推理进行科学图表生成的力量

机器人学 2025-04-15 v1 人工智能

摘要

科学图表是跨学科传达结构化知识的重要工具。然而,它们常作为静态栅格图像出版,丢失了符号语义且限制了复用。虽然多模态大型语言模型(MLLM)提供了连接视觉与结构的途径,但现有方法缺乏语义控制和结构可解释性,尤其在复杂图表方面。我们提出了 Draw with Thought (DwT),一个无需训练的框架,通过基于认知的链式思考推理引导 MLLM 将图表重构为可编辑的 mxGraph XML 代码。DwT 通过将任务分为两个阶段来实现可解释且可控的输出:粗到细规划处理感知结构和语义规范,以及结构感知代码生成,通过格式引导的细化得以增强。为支持评估,我们发布了 Plot2XML,一个包含 247 个真实世界科学图表及其黄金标准 XML 注释的基准。广泛实验表明,我们的方法在保真度、语义对齐和结构有效性方面均表现出色,人类评估确认在准确性和视觉美学方面均与人类水平高度一致,为将静态视觉转化为可执行表示提供了可扩展的解决方案,推动了机器对科学图形的理解。

关键词

引用

@article{arxiv.2504.09478,
  title  = {A highly maneuverable flying squirrel drone with controllable foldable wings},
  author = {Jun-Gill Kang and Dohyeon Lee and Soohee Han},
  journal= {arXiv preprint arXiv:2504.09478},
  year   = {2025}
}

备注

Accepted at 2023 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Project Page : https://jgkang1210.github.io/fsdrone/ , Video : https://youtu.be/Cfc-llDb3_k?si=Cal5beZw6f3HZ2ZW , Jun-Gill Kang and Dohyeon Lee are co-authors