SciCap：为科学图表生成说明文字
计算与语言
2021-10-26 v2 人工智能
计算机视觉与模式识别
摘要
研究者在科学论文中使用图表来传达丰富而复杂的信息。这些图表的说明文字对于传达有效信息至关重要。然而，科学文章中常出现低质量的图表说明文字，可能降低理解度。本文提出一种端到端神经框架，用于自动为科学图表生成信息丰富、高质量的说明文字。为此，我们引入了 SCICAP，一个基于2010年至2020年间发表的计算机科学 arXiv 论文的大规模图表-说明文字数据集。经过预处理——包括图表类型分类、子图识别、文本归一化和说明文字文本选择——SCICAP 包含了从超过290,000篇论文中提取的逾两百万张图表。我们随后建立了为图形绘图（占主导地位的图表类型，19.2%）生成说明文字的基线模型。实验结果显示了为科学图表生成说明文字的机遇与严峻挑战。
引用
@article{arxiv.2110.11624,
title = {SciCap: Generating Captions for Scientific Figures},
author = {Ting-Yao Hsu and C. Lee Giles and Ting-Hao 'Kenneth' Huang},
journal= {arXiv preprint arXiv:2110.11624},
year = {2021}
}
备注
To Appear in EMNLP 2021 Findings. The dataset is available at: https://github.com/tingyaohsu/SciCap