Pathformer：用于复杂逻辑查询答案的递归路径查询编码

复杂逻辑查询答案（Complex Logical Query Answering, CLQA）是不完整知识图谱上的一个具有挑战性的任务。最近提出了查询嵌入（Query Embedding, QE）方法，通过进行多跳逻辑推理来解决CLQA问题。然而，大多数方法仅考虑历史查询上下文信息，忽略了未来信息，导致无法捕捉查询元素之间复杂的依赖关系。近年来，Transformer架构显示出强大的能力，用于建模单词之间的长程依赖。Transformer提出的双向注意力机制可以解决这些QE方法在查询上下文方面的局限性。然而，作为序列模型，Transformer难以直接建模具有分支结构计算图的复杂逻辑查询。为此，我们提出一种基于树状计算图（即查询计算树）的神经单点嵌入方法，称为Pathformer。具体而言，Pathformer通过分支将查询计算树分解为路径查询序列，然后使用Transformer编码器递归地对这些路径查询序列进行编码，以获得最终的查询嵌入。这使得Pathformer能够充分利用未来上下文信息，显式地建模路径查询各部分之间的复杂相互作用。实验结果表明，Pathformer在现有竞争性神经QE方法上取得了优异性能，我们还发现Pathformer有望应用于非单点嵌入空间。