Relphormer：面向知识图谱表示的关联图Transformer
计算与语言
2023-11-22 v6 人工智能
信息检索
机器学习
摘要
Transformer 已在自然语言处理、计算机视觉和图挖掘等广泛领域中取得了卓越性能。然而，在知识图谱（KG）表示方面，原始 Transformer 架构并未带来令人满意的改进，该领域目前由平移距离范式主导。需注意，原始 Transformer 架构难以捕捉知识图谱内在异构的结构与语义信息。为此，我们提出了一种用于知识图谱表示的 Transformer 新变体，称为 Relphormer。具体而言，我们引入了 Triple2Seq，可动态采样上下文化子图序列作为输入，以缓解异构性问题。我们提出了一种新颖的结构增强自注意力机制，用于编码关系信息并保留实体与关系内部的语义信息。此外，我们利用掩码知识建模进行通用知识图谱表示学习，可应用于包括知识图谱补全、问答和推荐在内的多种基于 KG 的任务。在六个数据集上的实验结果表明，Relphormer 相比基线模型能获得更优性能。代码见 https://github.com/zjunlp/Relphormer。
引用
@article{arxiv.2205.10852,
title = {Relphormer: Relational Graph Transformer for Knowledge Graph Representations},
author = {Zhen Bi and Siyuan Cheng and Jing Chen and Xiaozhuan Liang and Feiyu Xiong and Ningyu Zhang},
journal= {arXiv preprint arXiv:2205.10852},
year = {2023}
}
备注
Neurocomputing 2023