掩码与推理:面向复杂逻辑查询的知识图谱 Transformer 预训练
机器学习
2022-08-17 v1 人工智能
摘要
知识图谱(KG)嵌入一直是不完整 KG 上推理的主流方法。然而,受其内在浅层且静态架构的限制,它们难以应对日益受到关注的复杂逻辑查询,这类查询包含逻辑算子、推断边、多个源实体以及未知中间实体。在本工作中,我们提出具有掩码预训练与微调策略的知识图谱 Transformer (kgTransformer)。我们设计了一种 KG 三元组转换方法以使 Transformer 能够处理 KG,并通过专家混合(MoE)稀疏激活进一步增强。随后我们将复杂逻辑查询表述为掩码预测,并引入两阶段掩码预训练策略以提升可迁移性与泛化性。在两个基准上的大量实验表明,kgTransformer 在九项域内与域外推理任务上均能持续优于基于 KG 嵌入的基线与先进编码器。此外,kgTransformer 可通过提供完整推理路径来解释给定答案,从而具备可解释推理能力。
引用
@article{arxiv.2208.07638,
title = {Mask and Reason: Pre-Training Knowledge Graph Transformers for Complex Logical Queries},
author = {Xiao Liu and Shiyu Zhao and Kai Su and Yukuo Cen and Jiezhong Qiu and Mengdi Zhang and Wei Wu and Yuxiao Dong and Jie Tang},
journal= {arXiv preprint arXiv:2208.07638},
year = {2022}
}
备注
kgTransformer; Accepted to KDD 2022