基于准符号抽象的链式思考推理提升
计算与语言
2026-03-31 v2
摘要
链式思考（Chain-of-Thought, CoT）是大型语言模型（LLM）进行推理的常见策略，通过将复杂任务分解为中间推理步骤来实现。然而，基于CoT生成的解释容易受到内容偏见的影响，这会严重影响其鲁棒性和忠实性。为缓解现有局限性，近期研究提出使用逻辑形式化方法搭配外部符号求解器。然而，完全符号化的方法存在将自然语言完整翻译为形式语言的瓶颈，这会影响效率和灵活性。为实现折中，本文研究在不进行完整形式化的情况下，将内容与逻辑推理 disentangle的方法。具体而言，本文提出QuaSAR（准符号抽象推理），这是一种CoT的变体，引导LLM以更高层次的抽象进行推理，通过准符号解释实现。该框架利用LLM仅对相关变量和谓词进行形式化，从而实现符号元素与自然语言的共存。我们展示了QuaSAR对原语学习和构建演示以提升小模型推理能力的影响。我们的实验表明，准符号抽象可使基于CoT的方法在挑战性的对抗性变体上（包括自然语言MMLU-Redux和符号推理任务GSM-Symbolic）的准确率提升最高可达8%，显著增强鲁棒性和一致性。
引用
@article{arxiv.2502.12616,
title = {Improving Chain-of-Thought Reasoning via Quasi-Symbolic Abstractions},
author = {Leonardo Ranaldi and Marco Valentino and Andrè Freitas},
journal= {arXiv preprint arXiv:2502.12616},
year = {2026}
}