用于复杂查询回答的条件逻辑消息传递 Transformer
机器学习
2024-08-13 v2 人工智能
计算机科学中的逻辑
摘要
知识图谱（KGs）上的复杂查询回答（CQA）是一项具有挑战性的任务。鉴于知识图谱通常是不完整的，人们提出了神经模型通过执行多跳逻辑推理来解决 CQA 问题。然而，大多数模型无法同时在单跳和多跳查询上表现良好。最近的工作提出了一种基于预训练神经链接预测器的逻辑消息传递机制。虽然该机制在单跳和多跳查询上均有效，但它忽略了查询图中常量节点与变量节点之间的差异。此外，在节点嵌入更新阶段，该机制无法动态衡量不同消息的重要性，且其是否能捕捉与节点及接收消息相关的隐式逻辑依赖关系尚不明确。在本文中，我们提出了条件逻辑消息传递 Transformer（CLMPT），该模型在使用预训练神经链接预测器时考虑了常量与变量的差异，并根据节点类型有条件地执行消息传递。实证验证表明，该方法能在不影响性能的情况下降低计算成本。此外，CLMPT 利用 Transformer 聚合接收到的消息并更新相应的节点嵌入。通过自注意力机制，CLMPT 能够为由接收消息和相应节点组成的输入集中的元素分配自适应权重，并显式建模各种元素之间的逻辑依赖关系。实验结果表明，CLMPT 是一种新的最先进（state-of-the-art）神经 CQA 模型。https://github.com/qianlima-lab/CLMPT
引用
@article{arxiv.2402.12954,
title = {Conditional Logical Message Passing Transformer for Complex Query Answering},
author = {Chongzhi Zhang and Zhiping Peng and Junhao Zheng and Qianli Ma},
journal= {arXiv preprint arXiv:2402.12954},
year = {2024}
}
备注
KDD 2024 Research Track