Ruleformer：基于知识图谱的上下文感知可微规则挖掘

规则挖掘是知识图谱（KG）推理的一种有效方法。现有工作主要集中于挖掘规则。然而，对于一个关系可能存在多条可用于推理的规则，如何为不同三元组的补全选择合适的规则尚未被讨论。本文提出将上下文信息纳入考虑，以帮助为推理任务选取合适的规则。基于该思想，我们提出了一种基于 Transformer 的规则挖掘方法 Ruleformer。它由两个模块组成：1）一个编码器，利用改进的注意力机制从头实体的子图中提取上下文信息；2）一个解码器，聚合来自编码器输出的子图信息，并生成推理每一步中关系的概率。Ruleformer 背后的基本思想是将规则挖掘过程视为序列到序列任务。为使子图成为编码器的序列输入并保留图结构，我们在 Transformer 中设计了一种关系注意力机制。实验结果表明了在规则挖掘任务中考虑这些信息的必要性以及我们模型的有效性。