通过规划式推理消除线性推理：引导大语言模型非线性思考的新框架
计算与语言
2023-11-16 v2 人工智能
摘要
思维链（Chain-of-Thought, CoT）提示及其变体通过模拟类人的线性认知与逻辑，探索赋予大语言模型（LLMs）高级推理能力。然而，人类思维是复杂的，混合了线性与非线性思考。在本工作中，我们提出\textbf{推理排除提示}（Inferential \textbf{E}xclusion \textbf{P}rompting, IEP），一种结合排除与推理原则以引导LLMs进行非线性思考的新型提示方法。IEP引导LLMs进行规划，然后利用自然语言推理（Natural Language Inference, NLI）推导每个可能解与上下文、常识或事实的蕴含关系，从而通过回溯推理获得更广阔的视角。这种前向规划与后向排除的过程使IEP相比其他仅反映线性认知过程的基于CoT的方法，能更好地模拟复杂的人类思维过程。我们进行了一系列实证研究，证实IEP在各种任务上持续优于CoT。此外，我们观察到将IEP与CoT结合可进一步提升LLMs在特定任务上的表现，凸显了赋予LLMs混合逻辑过程的必要性。 moreover，为更好地评估人类逻辑中固有的综合特征，我们引入了\textbf{心智能力推理基准}（\textbf{M}ental-\textbf{A}bility \textbf{R}easoning \textbf{B}enchmark, MARB）。该基准包含六个新颖子任务，共计9,115道题，其中1,685道配有手工编写的原理参考。我们相信\textsc{IEP}与\textsc{MARB}均可作为揭示LLMs逻辑与语言推理能力并推动进一步发展的有前景方向。\textsc{MARB}将很快发布于~\texttt{anonymity link}。
引用
@article{arxiv.2310.12342,
title = {Eliminating Reasoning via Inferring with Planning: A New Framework to Guide LLMs' Non-linear Thinking},
author = {Yongqi Tong and Yifan Wang and Dawei Li and Sizhe Wang and Zi Lin and Simeng Han and Jingbo Shang},
journal= {arXiv preprint arXiv:2310.12342},
year = {2023}
}