观察、阅读与丰富：从科学图表及其标题中学习

与自然图像相比，理解科学图表对机器而言尤为困难。然而，科学文献中存在一个至今未被利用的宝贵信息来源：图表与其标题之间的对应关系。本文探究了通过观察大量图表并阅读其标题可以学到什么，并引入了一个利用我们观察结果的图表-标题对应学习任务。在无监督条件下，仅使用无约束的图表和标题对来训练视觉和语言网络，被证明能成功解决此任务。我们还表明，从知识图谱中迁移词汇和语义知识能显著丰富所得的特征。最后，我们展示了此类特征在其他涉及科学文本和图表的任务中的积极影响，如多模态分类和面向问答的机器理解，其性能优于有监督基线和特设方法。