赋予语言模型以多模态知识图谱表示
计算与语言
2022-06-28 v1 人工智能
摘要
我们提出一种方法，通过将知识存储在外部知识图谱（KG）中并使用稠密索引从该 KG 中检索，使自然语言理解模型更具参数效率。给定（可能是多语言的）下游任务数据，例如德语句子，我们从 KG 中检索实体，并利用其实体多模态表示来提升下游任务性能。我们使用最近发布的 VisualSem KG 作为外部知识库，其覆盖 Wikipedia 和 WordNet 实体的一个子集，并比较了基于元组与基于图的混合算法，以学习基于 KG 多模态信息而落地的实体与关系表示。我们在两个下游任务上展示了所学实体表示的有用性，并在多语言命名实体识别任务上取得 -- F1 的提升，同时在视觉词义消歧任务上准确率提升高达 。我们的所有代码与数据可在 \url{https://github.com/iacercalixto/visualsem-kg} 获取。
引用
@article{arxiv.2206.13163,
title = {Endowing Language Models with Multimodal Knowledge Graph Representations},
author = {Ningyuan Huang and Yash R. Deshpande and Yibo Liu and Houda Alberts and Kyunghyun Cho and Clara Vania and Iacer Calixto},
journal= {arXiv preprint arXiv:2206.13163},
year = {2022}
}
备注
14 pages with appendix, 2 figures, 15 tables