UniChart：面向图表理解与推理的通用视觉-语言预训练模型
计算与语言
2023-10-12 v3
摘要
图表因分析数据、可视化关键洞察及回答有关数据的复杂推理问题而广受欢迎。为以自然语言促进基于图表的数据分析，近期引入了若干下游任务，如图表问答与图表摘要。然而，解决这些任务的方法多使用语言或视觉-语言任务的预训练，未显式建模图表结构（如数据如何被视觉编码、图表元素间如何关联）。为此，我们首先构建涵盖广泛主题与视觉风格的大规模图表语料。随后提出 UniChart，一种用于图表理解与推理的预训练模型。UniChart 编码图表的相关文本、数据与视觉元素，并使用图表基础的文本解码器以自然语言生成预期输出。我们提出若干图表专用预训练任务，包括：（i）提取视觉元素（如条形、线）与数据的底层任务，及（ii）获取图表理解与推理技能的高层任务。我们发现，在大规模语料上以图表专用低层与高层任务预训练模型，再在三个下游任务上微调，可在三个下游任务上取得最先进性能。
引用
@article{arxiv.2305.14761,
title = {UniChart: A Universal Vision-language Pretrained Model for Chart Comprehension and Reasoning},
author = {Ahmed Masry and Parsa Kavehzadeh and Xuan Long Do and Enamul Hoque and Shafiq Joty},
journal= {arXiv preprint arXiv:2305.14761},
year = {2023}
}