面向知识图谱补全的Transformer预训练
计算与语言
2023-03-29 v1 机器学习
摘要
学习知识图谱（KGs）的可迁移表示具有挑战性，原因在于图结构的异构性与多关系性。受基于Transformer的预训练语言模型在学习文本可迁移表示上成功的启发，我们引入一种新颖的归纳式KG表示模型（iHT），通过大规模预训练进行KG补全。iHT由实体编码器（如BERT）与均由Transformers参数化的邻域感知关系打分函数组成。我们首先在大型KG数据集Wikidata5M上预训练iHT。我们的方法在匹配评测上取得了新的最先进结果，平均倒数排名相对先前SOTA模型提升超过25%。当在具有实体与关系偏移的更小KG上进一步微调时，预训练的iHT表示被证明是可迁移的，显著提升了在FB15K-237与WN18RR上的性能。
引用
@article{arxiv.2303.15682,
title = {Pre-training Transformers for Knowledge Graph Completion},
author = {Sanxing Chen and Hao Cheng and Xiaodong Liu and Jian Jiao and Yangfeng Ji and Jianfeng Gao},
journal= {arXiv preprint arXiv:2303.15682},
year = {2023}
}