Logic-LM：以符号求解器赋能大语言模型实现忠实逻辑推理
计算与语言
2023-10-20 v2 人工智能
摘要
大语言模型（LLMs）已展现出类人的推理能力，但在复杂逻辑问题上仍力有不逮。本文提出一种新颖框架 Logic-LM，将 LLMs 与符号求解器相集成以提升逻辑问题求解能力。我们的方法首先利用 LLMs 将自然语言问题转换为符号表述；随后，确定性符号求解器对该形式化问题执行推理。我们还引入了自精炼模块，利用符号求解器的错误信息修订符号形式化。我们在五个逻辑推理数据集上验证了 Logic-LM 的有效性：ProofWriter、PrOntoQA、FOLIO、LogicalDeduction 和 AR-LSAT。平均而言，Logic-LM 相较单独使用标准提示的 LLM 取得了 39.2% 的显著性能提升，较采用思维链提示的 LLM 提升 18.4%。我们的研究结果表明，Logic-LM 通过结合 LLMs 与符号逻辑，为忠实逻辑推理提供了一条有前景的途径。代码与数据已公开于 https://github.com/teacherpeterpan/Logic-LLM。
引用
@article{arxiv.2305.12295,
title = {Logic-LM: Empowering Large Language Models with Symbolic Solvers for Faithful Logical Reasoning},
author = {Liangming Pan and Alon Albalak and Xinyi Wang and William Yang Wang},
journal= {arXiv preprint arXiv:2305.12295},
year = {2023}
}
备注
EMNLP 2023 (Findings, long paper)