借助鲁棒的图表组件识别推进图表问答
计算与语言
2024-08-01 v1 人工智能
信息检索
摘要
图表理解对机器学习模型提出了重大挑战，因为图表具有多样且复杂的形状。现有的多模态方法通常忽略这些视觉特征，或未能有效地将其整合用于图表问答（ChartQA）。为了解决这一问题，我们提出了Chartformer，一个统一的框架，通过准确识别和分类柱状图、折线图、饼图、标题、图例和坐标轴等组件来增强图表组件识别。此外，我们提出了一种新颖的问答引导可变形协同注意力（QDCAt）机制，该机制将Chartformer编码的图表特征与给定问题融合，利用问题的引导来定位正确答案。大量实验表明，所提出的方法在图表组件识别和ChartQA任务上显著优于基线模型，分别在mAP和准确率上取得了3.2%和15.4%的提升。这些结果强调了我们的解决方案在多种应用中进行详细视觉数据解释的鲁棒性。
引用
@article{arxiv.2407.21038,
title = {Advancing Chart Question Answering with Robust Chart Component Recognition},
author = {Hanwen Zheng and Sijia Wang and Chris Thomas and Lifu Huang},
journal= {arXiv preprint arXiv:2407.21038},
year = {2024}
}