知识图谱嵌入如何外推至未见过的数据：一种语义证据视角
计算与语言
2022-05-13 v3 机器学习
社会与信息网络
摘要
知识图谱嵌入（KGE）旨在为实体与关系学习表示。大多数KGE模型已取得巨大成功，尤其在外推场景下。具体而言，给定一个未见过的三元组(h, r, t)，训练好的模型仍可从(h, r, ?)正确预测t，或从(?, r, t)正确预测h，此种外推能力令人印象深刻。然而，现有多数KGE工作聚焦于精细三元组建模函数的设计，其主要告诉我们如何度量观测三元组的合理性，却较少解释这些方法为何能外推至未见过的数据，以及哪些关键因素有助于KGE外推。因此，本工作尝试研究KGE外推的两个问题：1. KGE如何外推至未见过的数据？2. 如何设计具有更好外推能力的KGE模型？针对问题1，我们首先从关系、实体与三元组层面分别讨论外推的影响因素，提出三种语义证据（SEs），其可从训练集观察到并为外推提供重要语义信息。随后我们通过若干典型KGE方法上的大量实验验证了SEs的有效性。针对问题2，为更好地利用三个层面的SE，我们提出一种新颖的基于GNN的KGE模型，称为语义证据感知图神经网络（SE-GNN）。在SE-GNN中，每一层SE由相应的邻居模式显式建模，并通过多层聚合充分融合，有助于获得更具外推性的知识表示。最后，通过在FB15k-237与WN18RR数据集上的大量实验，我们表明SE-GNN在知识图谱补全任务上取得了最先进的性能，并表现出更好的外推能力。我们的代码见https://github.com/renli1024/SE-GNN。
引用
@article{arxiv.2109.11800,
title = {How Does Knowledge Graph Embedding Extrapolate to Unseen Data: A Semantic Evidence View},
author = {Ren Li and Yanan Cao and Qiannan Zhu and Guanqun Bi and Fang Fang and Yi Liu and Qian Li},
journal= {arXiv preprint arXiv:2109.11800},
year = {2022}
}
备注
Accepted by AAAI'22