重访大语言模型的图推理能力：来自翻译、连通性与最短路径的案例研究
计算与语言
2025-01-09 v2 人工智能
摘要
大语言模型(LLM)在各种推理任务中取得了巨大成功。本文聚焦于LLM的图推理能力。尽管理论研究表明LLM能够处理图推理任务，但实证评估揭示了诸多失败案例。为深入理解这种差异，本文重访LLM在三个基本图任务上的能力：图描述翻译、图连通性以及最短路径问题。我们的发现表明，LLM可能无法通过文本描述理解图结构，对这三个基本任务表现各不相同。同时，我们在知识图谱上进行了实际调查，发现与我们的研究发现一致。提供的代码和数据集均可公开获取。
引用
@article{arxiv.2408.09529,
title = {Revisiting the Graph Reasoning Ability of Large Language Models: Case Studies in Translation, Connectivity and Shortest Path},
author = {Xinnan Dai and Qihao Wen and Yifei Shen and Hongzhi Wen and Dongsheng Li and Jiliang Tang and Caihua Shan},
journal= {arXiv preprint arXiv:2408.09529},
year = {2025}
}