KnowFormer: 重访用于知识图谱推理的 Transformer
人工智能
2024-12-18 v2
摘要
知识图谱推理在 various applications 中发挥着重要作用，受到广泛关注。最近，基于路径的方法取得了显著的性能，但可能受到基于消息传递神经网络的限制制约，如路径缺失和信息过度压扁。在本文中，我们重新审视了 Transformer 用于知识图谱推理的应用，以解决基于路径的方法所面临的限制，提出了一种新方法 KnowFormer。KnowFormer 使用 transformer 架构从消息传递的视角对知识图谱进行推理，而不是像以前基于预训练语言模型的方法那样通过文本信息进行推理。具体而言，我们基于知识图谱推理的查询原型定义注意力计算，以便于构建和高效优化。为了将结构信息纳入自注意力机制，我们引入结构感知模块分别计算查询、键和值。此外，我们提出了一种高效注意力计算方法以提高可扩展性。实验结果表明，KnowFormer 在 transductive 和 inductive benchmark 上的性能优于显著的基线方法。
引用
@article{arxiv.2409.12865,
title = {KnowFormer: Revisiting Transformers for Knowledge Graph Reasoning},
author = {Junnan Liu and Qianren Mao and Weifeng Jiang and Jianxin Li},
journal= {arXiv preprint arXiv:2409.12865},
year = {2024}
}
备注
Accepted by ICML2024