Logic-of-Thought：将逻辑注入上下文以实现大语言模型的完整推理
计算与语言
2025-02-10 v2
摘要
大语言模型（LLMs）在各类任务上展现出惊人的能力，但在复杂逻辑推理任务上的表现仍不令人满意。虽然一些提示方法（如 Chain-of-Thought）能够在一定程度上提升 LLMs 的推理能力，但存在所谓的“忠实性”问题，即推导出的结论可能与生成的推理链不一致。为此，一些研究采用命题逻辑方法进一步提升 LLMs 的逻辑推理能力。然而，这些方法在抽取逻辑表达式时可能遗漏潜在信息，导致逻辑推理过程中信息丢失，从而生成错误结果。为此，本文提出 Logic-of-Thought（LoT）提示方法，采用命题逻辑生成扩展的逻辑信息描述，并将其作为原始上下文的额外补充，从而确保信息完整性并提升逻辑推理能力。LoT 与现有提示方法是正交的，可无缝集成。广泛的实验表明，LoT 在五个逻辑推理任务上均显著提升了各种提示方法的性能。特别地，LoT 将 Chain-of-Thought 在 ReClor 数据集上的性能提升 +4.35%，将 Chain-of-Thought with Self-Consistency 在 RuleTaker 数据集上的性能提升 +3.52%，并将 Tree-of-Thoughts 在 ProofWriter 数据集上的性能提升 +8%。
引用
@article{arxiv.2409.17539,
title = {Logic-of-Thought: Injecting Logic into Contexts for Full Reasoning in Large Language Models},
author = {Tongxuan Liu and Wenjiang Xu and Weizhe Huang and Yuting Zeng and Jiaxing Wang and Xingyu Wang and Hailong Yang and Jing Li},
journal= {arXiv preprint arXiv:2409.17539},
year = {2025}
}
备注
18 pages, Accepted to NAACL2025