ChartGalaxy：用于信息图表理解与生成的数据集
计算机视觉与模式识别
2025-10-17 v5 计算与语言
摘要
信息图表是一种强大的媒介，通过将视觉元素（如图表、图像）与文本信息相结合来传达抽象数据。然而，其视觉与结构的丰富性为大型视觉-语言模型 (LVLMs) 带来了挑战，这些模型通常仅在纯文本图表上进行训练。为弥合这一差距，我们引入 ChartGalaxy，一个规模为百万级的数据集，旨在推动信息图表的理解与生成。该数据集通过一种归纳过程构建：从真实信息图表中识别出 75 种图表类型、440 种图表变体以及 68 种布局模板，并据此以程序化方式创建合成图表。我们通过以下方式展示了该数据集的实用性：(1) 通过微调提高信息图表理解能力，(2) 为信息图表代码生成进行基准测试，以及 (3) 实现基于示例的信息图表生成。通过捕捉真实设计的视觉与结构复杂性，ChartGalaxy 为增强 LVLMs 的多模态推理与生成提供了有用的资源。
引用
@article{arxiv.2505.18668,
title = {ChartGalaxy: A Dataset for Infographic Chart Understanding and Generation},
author = {Zhen Li and Duan Li and Yukai Guo and Xinyuan Guo and Bowen Li and Lanxi Xiao and Shenyu Qiao and Jiashu Chen and Zijian Wu and Hui Zhang and Xinhuan Shu and Shixia Liu},
journal= {arXiv preprint arXiv:2505.18668},
year = {2025}
}
备注
58 pages