在图上明智地行走：基于高效引导-探索的双智能体知识图谱推理
人工智能
2024-12-19 v4 机器学习
摘要
近年来，多跳推理已被广泛应用于知识图谱（KG）推理领域，因其有效性和可解释性。然而，先前的多跳推理方法存在两个主要不足之处：其一，智能体在稀疏奖励下难以学习有效且稳健的策略；其二，这些方法在稀疏知识图等特定数据集上常常受挫，因为需要智能体遍历冗长的推理路径。为解决这些问题，我们提出了一种基于层次化强化学习（HRL）的双智能体多跳推理模型，称为FULORA。FULORA通过在双智能体之间的高效引导-探索（Efficient GUidance-ExpLORAtion）来解决上述推理挑战。高层智能体在简化的知识图上行走，以为低层智能体在原知识图上行走提供阶段性提示。在此框架下，低层智能体优化一个价值函数，以平衡两个目标：（1）最大化回报，（2）集成来自高层智能体的有效引导。在三个真实世界知识图谱数据集上进行的实验表明，FULORA在基于RL的基线方法中表现更好，尤其是在长距离推理的情况下。
引用
@article{arxiv.2408.01880,
title = {Walk Wisely on Graph: Knowledge Graph Reasoning with Dual Agents via Efficient Guidance-Exploration},
author = {Zijian Wang and Bin Wang and Haifeng Jing and Huayu Li and Hongbo Dou},
journal= {arXiv preprint arXiv:2408.01880},
year = {2024}
}
备注
Accepted by AAAI-25