利用跨模态实体一致性度量的真实世界新闻多模态分析

万维网已成为获取信息与新闻的热门来源。多模态信息，例如用照片丰富文本，通常用于更有效地传达新闻或吸引注意。照片内容可以是装饰性的、描绘额外重要信息，甚至可能包含误导性信息。因此，量化实体表征跨模态一致性的自动方法可辅助人工评估者评估整体多模态信息，例如在偏见或情感方面。在某些情况下，此类度量可给出检测假新闻的线索，这是当今社会日益重要的话题。本文中，我们引入真实世界新闻中跨模态一致性验证的新任务，并提出一种量化图像与文本间实体连贯性的多模态方法。命名实体链接被用于从新闻文本中提取人物、地点与事件。利用最先进的方法，提出若干度量来计算这些实体的跨模态相似度。与以往工作不同，我们的系统自动从网上收集示例数据，并适用于真实世界新闻。在两个涵盖不同语言、主题与领域的新型数据集上的结果证明了我们方法的可行性。数据集与代码已公开以促进朝向这一新方向的研究。