必要时呼叫我：LLM能够高效且忠实地在结构化环境上进行推理
计算与语言
2024-07-04 v2 人工智能
摘要
大型语言模型（LLM）已在结构化环境（例如知识图谱和表格）上的推理中展现出潜力。此类任务通常需要多跳推理，即将自然语言表述与环境中的实例进行匹配。以往的方法利用LLM逐步构建推理路径，LLM通过与环境逐步交互来调用工具或选择模式。我们提出推理路径编辑（Readi），这是一个新颖的框架，使LLM能够高效且忠实地在结构化环境上进行推理。在Readi中，LLM首先根据查询生成一条推理路径，并仅在必要时编辑该路径。我们将路径在结构化环境上实例化，并在出现任何问题时提供反馈以编辑路径。在三个KGQA和两个TableQA数据集上的实验结果表明了Readi的有效性，显著超越了以往基于LLM的方法（在WebQSP上Hit@1提升9.1%，MQA-3H上提升12.4%，WTQ上提升9.5%），与最先进的微调方法性能相当（在CWQ上达到67%，在WebQSP上达到74.7%），并大幅提升了基础LLM的性能（在CWQ上提升14.9%）。我们的代码将在 https://aka.ms/readi 上发布。
引用
@article{arxiv.2403.08593,
title = {Call Me When Necessary: LLMs can Efficiently and Faithfully Reason over Structured Environments},
author = {Sitao Cheng and Ziyuan Zhuang and Yong Xu and Fangkai Yang and Chaoyun Zhang and Xiaoting Qin and Xiang Huang and Ling Chen and Qingwei Lin and Dongmei Zhang and Saravan Rajmohan and Qi Zhang},
journal= {arXiv preprint arXiv:2403.08593},
year = {2024}
}
备注
Accepted by ACL 2024 Findings. 21 pages, 7 figures, 17 tables