DiagramRAG：面向图表生成的轻量级科学图表检索框架
人工智能
2026-05-28 v1
摘要
科学图表对于在学术论文中传达复杂方法论至关重要。研究人员指定此类图表的一种自然方式是通过粗略草图，其中文本标签、连接器和空间布局表达了早期的语义和拓扑意图。然而，草图通常是不完整的，因此不足以直接生成出版质量的图表。现有的基于草图的生成方法主要重构草图本身，而最近的文本驱动图表生成框架依赖于文本语义，并未充分利用草图中包含的拓扑结构。在本文中，我们介绍了DiagramRAG，一个用于基于草图的科学图表补全的轻量级检索增强框架。给定用户草图，DiagramRAG检索与草图内容语义相关且与其结构拓扑兼容的参考图表，并利用它们指导下游图表生成。为了实现高效的结构感知检索，我们将图表表示为知识图谱，在不同简化级别合成草图变体，并训练一个嵌入模型以在共享空间中对齐草图与兼容图表。检索到的参考进一步为补全和渲染最终图表提供了内容、拓扑和视觉先验。实验表明，DiagramRAG在DiagramBank和FigureBench上分别达到了0.848和0.802的F1分数，并以最佳的VLM-as-a-Judge评分7.170提升了生成质量，同时将推理延迟降低到每样本35.48秒。我们的代码和数据可在https://anonymous.4open.science/r/DiagramRAG-A262和https://huggingface.co/datasets/anonymous-review-a262/DiagramSketch获取。
引用
@article{arxiv.2605.27931,
title = {DiagramRAG: A Lightweight Framework to Retrieve Scientific Diagram for Figure Generation},
author = {Xinjiang Yu and Junyi Han and Zhuofan Chen and Chi Zhang and Xiangyu Fu and Jingyuan Tan and Zirui You and Yixiang Jian and Yu-Ping Wang and Chengliang Chai},
journal= {arXiv preprint arXiv:2605.27931},
year = {2026}
}
备注
23 pages, 9 figures