如何理解命名实体：利用常识进行新闻图像描述
计算与语言
2024-03-12 v1 人工智能
摘要
新闻图像描述旨在以新闻文章正文为输入来描述图像。它极大地依赖于一系列检测到的命名实体，包括现实世界中的人物、组织和地点。本文利用常识知识来理解新闻图像描述中的命名实体。所谓“理解”，我们是指将新闻内容与现实世界中的常识相关联，这有助于智能体 1) 区分语义相似的命名实体，以及 2) 使用训练语料库之外的词汇来描述命名实体。我们的方法包含三个模块： Filter Module 旨在从两个方面澄清关于某个命名实体的常识：它意味着什么？以及它与什么相关？这分别将常识划分为解释性知识和相关性知识。 Distinguish Module 从节点度数、依赖关系和区分三个方面聚合解释性知识，以区分语义相似的命名实体。 Enrich Module 将相关性知识附加到命名实体上，通过常识信息（例如身份和社会地位）来丰富实体描述。最后，将来自这两个模块的概率分布进行整合以生成新闻描述。在两个具有挑战性的数据集（即 GoodNews 和 NYTimes）上的大量实验证明了我们方法的优越性。消融研究和可视化进一步验证了其在理解命名实体方面的有效性。
引用
@article{arxiv.2403.06520,
title = {How to Understand Named Entities: Using Common Sense for News Captioning},
author = {Ning Xu and Yanhui Wang and Tingting Zhang and Hongshuo Tian and Mohan Kankanhalli and An-An Liu},
journal= {arXiv preprint arXiv:2403.06520},
year = {2024}
}