MMKGR：多跳多模态知识图谱推理
人工智能
2022-09-07 v1 数据库
摘要
多模态知识图谱（MKG）不仅包含关系三元组，还包含相关的多模态辅助数据（即文本和图像），这增强了知识的多样性。然而，天然的不完整性显著阻碍了 MKG 的应用。为解决该问题，现有研究采用基于嵌入的推理模型，在融合多模态特征后推断缺失知识。然而，这些方法的推理性能受限于以下问题：（1）多模态辅助特征融合低效；（2）缺乏复杂推理能力，且无法进行能够推断更多缺失知识的多跳推理。为克服这些问题，我们提出一种名为 MMKGR（Multi-hop Multi-modal Knowledge Graph Reasoning，多跳多模态知识图谱推理）的新模型。具体而言，该模型包含以下两个组件：（1）一个统一的门控注意力网络，旨在通过充分的注意力交互与降噪生成有效的多模态互补特征；（2）一种互补特征感知的强化学习方法，基于组件（1）所得特征，通过执行多跳推理过程预测缺失元素。实验结果表明，MMKGR 在 MKG 推理任务上优于最先进的方法。
引用
@article{arxiv.2209.01416,
title = {MMKGR: Multi-hop Multi-modal Knowledge Graph Reasoning},
author = {Shangfei Zheng and Weiqing Wang and Jianfeng Qu and Hongzhi Yin and Wei Chen and Lei Zhao},
journal= {arXiv preprint arXiv:2209.01416},
year = {2022}
}