MSG-Chart：用于ChartQA的多模态场景图
计算与语言
2024-08-12 v1 计算机视觉与模式识别
摘要
自动图表问答（ChartQA）具有挑战性，原因在于图表元素分布复杂，且底层数据的模式并未在图表中明确显示。为应对这一挑战，我们设计了一个联合多模态场景图，用于显式表示图表元素及其模式之间的关系。所提出的多模态场景图包括视觉图和文本图，以联合捕获图表的结构知识和语义知识。该图模块可以作为一种归纳偏置轻松集成到不同的视觉Transformer中。我们的实验表明，引入所提出的图模块增强了对图表元素结构和语义的理解，从而提升了在公开可用基准ChartQA和OpenCQA上的性能。
引用
@article{arxiv.2408.04852,
title = {MSG-Chart: Multimodal Scene Graph for ChartQA},
author = {Yue Dai and Soyeon Caren Han and Wei Liu},
journal= {arXiv preprint arXiv:2408.04852},
year = {2024}
}
备注
Accpeted by CIKM Short 2024