OneChart：通过单一辅助标记纯化图表结构提取
计算机视觉与模式识别
2024-04-26 v2
摘要
由于风格、数值、文本等方面的多样性，图表解析面临重大挑战。即使是拥有数十亿参数的先进大型视觉语言模型（LVLMs）也难以令人满意地处理此类任务。为了解决这一问题，我们提出了 OneChart：一种专门为图表信息结构提取而设计的可靠智能体。与流行的 LVLMs 类似，OneChart 包含一个自回归主体。独特之处在于，为了提高输出数值部分的可靠性，我们引入了一个辅助标记，将其放置在总标记序列的开头，并配备一个额外的解码器。经过数值优化的（辅助）标记使得后续用于图表解析的标记能够通过因果注意力捕获增强的数值特征。此外，借助辅助标记，我们设计了一种自评估机制，使模型能够通过为生成内容提供置信度分数来衡量其图表解析结果的可靠性。与当前最先进的（SOTA）图表解析模型（如 DePlot、ChartVLM、ChartAst）相比，尽管 OneChart 仅拥有 2 亿参数，但它在多个公共基准测试中的图表结构提取平均精度（AP）上显著优于它们。此外，作为一种图表解析智能体，它还在下游 ChartQA 基准测试中为流行的 LVLM（LLaVA-1.6）带来了 10% 以上的准确率提升。
引用
@article{arxiv.2404.09987,
title = {OneChart: Purify the Chart Structural Extraction via One Auxiliary Token},
author = {Jinyue Chen and Lingyu Kong and Haoran Wei and Chenglong Liu and Zheng Ge and Liang Zhao and Jianjian Sun and Chunrui Han and Xiangyu Zhang},
journal= {arXiv preprint arXiv:2404.09987},
year = {2024}
}
备注
14 pages, 9 figures and 6 tables