通过符号链路推理实现忠实逻辑推理
计算与语言
2024-06-12 v2
摘要
虽然近期的链式思维（CoT）技术通过心理理论增强了大型语言模型（LLM）的推理能力，但它可能仍在处理依赖符号表达式和严格推理规则的逻辑推理方面存在挑战。为增强 LLM 的逻辑推理能力，我们提出一种新的符号链式思维，即 SymbCoT，一个完全基于 LLM 的框架，将符号表达式和逻辑规则与 CoT 提示集成。技术上，基于 LLM，SymbCoT 1) 首先将自然语言语境翻译为符号格式，然后 2) 推导出解决问题的分步计划以使用符号逻辑规则，3) 随后通过验证器检查翻译和推理链。通过对 5 个标准数据集进行彻底评估，这些数据集包含 First-Order Logic 和 Constraint Optimization 符号表达式，SymbCoT 在 CoT 方法上 consistently 实现显著提升，同时刷新了当前的最佳性能。我们进一步展示了该系统在更忠实、更灵活和更可解释的逻辑推理方面的优势。据我们了解，这是首个将符号表达式和规则整合到 CoT 中用于 LLM 逻辑推理的方法。代码已开源于 https://github.com/Aiden0526/SymbCoT。
引用
@article{arxiv.2405.18357,
title = {Faithful Logical Reasoning via Symbolic Chain-of-Thought},
author = {Jundong Xu and Hao Fei and Liangming Pan and Qian Liu and Mong-Li Lee and Wynne Hsu},
journal= {arXiv preprint arXiv:2405.18357},
year = {2024}
}
备注
Accepted by ACL 2024 (main proceeding)