MapQA:一种面向分级统计地图的问答数据集
计算机视觉与模式识别
2022-11-17 v1 计算与语言
摘要
分级统计地图(choropleth maps)是区域特定表格数据的常见视觉表示,用于报纸、文章等多种场合。这些地图人类可读,但在尝试为屏幕阅读器、分析或其他相关任务提取数据时往往具有挑战性。近期视觉问答(VQA)研究已探讨针对人工生成图表(ChartQA,如条形图、折线图、饼图)的问答。然而,极少工作关注地图理解;通用VQA模型与ChartQA模型在执行该任务时表现不佳。为促进并鼓励此领域研究,我们提出MapQA,一个包含约60K地图图像上约800K问答对的大规模数据集。我们的任务测试了多层次的地图理解,从关于地图样式的表层问题,到需要对底层数据进行推理的复杂问题。我们展示了MapQA独有的挑战,这些挑战令多数为ChartQA和通用VQA任务设计的强基线算法受挫。我们还提出一种新算法,即基于视觉多输出数据提取的问答(V-MODEQA)用于MapQA。V-MODEQA通过多输出模型从地图图像提取底层结构化数据,再对提取数据进行推理。实验结果表明,通过捕捉地图问答中的独特属性,V-MODEQA在MapQA上的整体性能与鲁棒性优于最先进的ChartQA与VQA算法。
引用
@article{arxiv.2211.08545,
title = {MapQA: A Dataset for Question Answering on Choropleth Maps},
author = {Shuaichen Chang and David Palzer and Jialin Li and Eric Fosler-Lussier and Ningchuan Xiao},
journal= {arXiv preprint arXiv:2211.08545},
year = {2022}
}