分离与聚合：一种基于Transformer的补丁精炼知识图谱补全模型

知识图谱补全（KGC）是从任意给定知识图谱（KG）中推断缺失事实的任务。以往的KGC方法通常将知识图谱实体和关系表示为可训练的连续嵌入，并将实体$h$（或$t$）与关系$r$的嵌入融合为查询$(h, r, ?)$（或$(?, r, t)$）的隐藏表示，以逼近缺失实体。为此，它们要么使用浅层线性变换，要么使用深度卷积模块。然而，线性变换存在表达能力不足的问题，而深度卷积模块引入了不必要的归纳偏置，可能降低模型性能。因此，我们提出一种新颖的基于Transformer的补丁精炼模型（PatReFormer）用于KGC。PatReFormer首先将嵌入分割为补丁序列，然后使用交叉注意力模块实现实体与关系之间的双向嵌入特征交互，从而更好地理解底层KG。我们在四个流行的KGC基准WN18RR、FB15k-237、YAGO37和DB100K上进行了实验。实验结果表明，在标准KGC评价指标（如MRR和H@n）上，相较于现有KGC方法取得了显著性能提升。我们的分析首先验证了PatReFormer中模型设计选择的有效性。接着我们发现PatReFormer能从较大的关系嵌入维度更好地捕获KG信息。最后，我们证明与其他KGC模型相比，PatReFormer的优势在于复杂关系类型。