多模态知识图上的端到端学习
机器学习
2023-09-06 v1 人工智能
摘要
知识图使数据科学家能够对异构知识进行端到端学习。然而，多数端到端模型仅从图结构中编码的关系信息学习：以字面量节点形式编码的原始值要么被完全忽略，要么被当作常规节点而不考虑其值。无论哪种情况，我们都丢失了本可被学习方法利用的潜在相关信息。我们提出一种多模态消息传递网络，不仅从图结构端到端学习，还从其可能多样的多模态节点特征中学习。我们的模型使用专用的（神经）编码器自然地为属于五类不同模态（包括数字、文本、日期、图像与几何）的节点特征学习嵌入，并与关系信息一同投影到联合表示空间。我们在人工与真实世界数据集的节点分类与链接预测上实现并演示了模型，并通过逆向消融研究评估各模态对整体性能的影响。结果表明，对任意知识图进行端到端多模态学习确有可能，且引入多模态信息可显著影响性能，但很大程度上取决于数据特征。
引用
@article{arxiv.2309.01169,
title = {End-to-End Learning on Multimodal Knowledge Graphs},
author = {W. X. Wilcke and P. Bloem and V. de Boer and R. H. van t Veer},
journal= {arXiv preprint arXiv:2309.01169},
year = {2023}
}
备注
Under submission. arXiv admin note: substantial text overlap with arXiv:2003.12383