基于知识图谱的多模态类比推理
计算与语言
2023-03-02 v4 人工智能
计算机视觉与模式识别
机器学习
多媒体
摘要
类比推理是人类认知的基础，并在多个领域中占有重要地位。然而，以往的研究主要关注单模态类比推理，忽视了利用结构知识。值得注意的是，认知心理学的研究表明，来自多模态源的信息总是比单模态源带来更强大的认知迁移。为此，我们引入了基于知识图谱的多模态类比推理这一新任务，该任务需要在背景知识的辅助下具备多模态推理能力。具体而言，我们构建了多模态类比推理数据集（MARS）和一个多模态知识图谱 MarKG。我们使用多模态知识图谱嵌入和预训练 Transformer 基线进行了评估，展示了所提任务的潜在挑战。我们进一步提出了一种受结构映射理论启发的、与模型无关的多模态类比推理框架 MarT（基于 Transformer 的 Multimodal analogical reasoning framework），其可获得更好的性能。代码与数据集可在 https://github.com/zjunlp/MKG_Analogy 获取。
引用
@article{arxiv.2210.00312,
title = {Multimodal Analogical Reasoning over Knowledge Graphs},
author = {Ningyu Zhang and Lei Li and Xiang Chen and Xiaozhuan Liang and Shumin Deng and Huajun Chen},
journal= {arXiv preprint arXiv:2210.00312},
year = {2023}
}
备注
Accepted by ICLR 2023. The project website is https://zjunlp.github.io/project/MKG_Analogy/introduction.html