MoCoSA：基于结构增强预训练语言模型的知识图谱补全动量对比方法
计算与语言
2023-08-17 v1
摘要
知识图谱补全（KGC）旨在对知识图谱中的事实进行推理并自动推断缺失链接。现有方法主要可分为基于结构的或基于描述的。一方面，基于结构的方法利用实体嵌入有效表示知识图谱中的关系事实。然而，由于结构信息有限，它们难以处理语义丰富的真实世界实体，且无法泛化到未见过实体。另一方面，基于描述的方法借助预训练语言模型（PLMs）理解文本信息，对未见过实体表现出强鲁棒性。但它们难以处理更大的负采样，且常落后于基于结构的方法。为解决这些问题，本文提出基于结构增强预训练语言模型的知识图谱补全动量对比方法（MoCoSA），使 PLM 可通过自适应结构编码器感知结构信息。为提高学习效率，我们提出动量难负样本与关系内负采样。实验结果表明，我们的方法在平均倒数排名（MRR）上取得了最先进性能，在 WN18RR 上提升 2.5%，在 OpenBG500 上提升 21%。
引用
@article{arxiv.2308.08204,
title = {MoCoSA: Momentum Contrast for Knowledge Graph Completion with Structure-Augmented Pre-trained Language Models},
author = {Jiabang He and Liu Jia and Lei Wang and Xiyao Li and Xing Xu},
journal= {arXiv preprint arXiv:2308.08204},
year = {2023}
}