IMKGA-SM:基于序列建模的可解释多模态知识图谱答案预测
人工智能
2023-01-12 v4 机器学习
摘要
多模态知识图谱链接预测旨在提高多模态数据链接预测任务的准确性和效率。然而,对于复杂的多模态信息和稀疏的训练数据,大多数方法通常难以同时实现可解释性和高准确性。为解决这一困难,本文提出了一种新模型,即可解释多模态知识图谱答案预测 via 序列建模 (IMKGA-SM)。首先,提出了一种多模态细粒度融合方法,并采用 Vgg16 和光学字符识别 (OCR) 技术从图像和图像中有效提取文本信息。然后,将知识图谱链接预测任务建模为离线强化学习马尔可夫决策模型,再将其抽象为统一的序列框架。设计了基于交互感知的奖励期望机制和特殊的因果掩码机制,将查询“转换”为推理路径。接着,提出了一种自回归动态梯度调整机制,以缓解多模态优化不足的问题。最后,采用两个数据集进行实验,并使用流行的 SOTA 基线进行比较。结果表明,所提出的 IMKGA-SM 在不同规模的多模态链接预测数据集上均优于 SOTA 基线。
引用
@article{arxiv.2301.02445,
title = {IMKGA-SM: Interpretable Multimodal Knowledge Graph Answer Prediction via Sequence Modeling},
author = {Yilin Wen and Biao Luo and Yuqian Zhao},
journal= {arXiv preprint arXiv:2301.02445},
year = {2023}
}
备注
12pages,10 figures