认知循环思维：基于可逆层次马尔可夫链的高效数学推理
计算与语言
2026-05-29 v2
摘要
多步骤链式思维(CoT)通过利用显式推理步骤显著提升了大语言模型的数学推理能力，但其广泛采用常导致序列长度超过可管理的计算限制。虽然现有方法试图通过类似马尔可夫链的结构减少KV缓存冗余，但引入了两个关键局限性：内在记忆性(上下文丢失)和有限的backward推理能力。为此，我们提出一种新的链式思维框架，基于可逆层次马尔可夫链，称为认知循环思维(Cogntive Loop of Thought, CLoT)，以及一个backward推理数据集CLoT-Instruct。在CLoT中，问题被分解为具有层次依赖关系的子问题。借鉴人类认知过程，我们在每个层次引入backward验证机制。此外，我们实施一种修剪策略：一旦高层子问题被验证，冗余的低层子问题即被修剪，以最大化效率。这有效缓解了误差传播，增强了推理鲁棒性。在四个数学基准上的实验表明，我们的方法有效。值得注意的是，在AddSub数据集上使用GPT-4o-mini，CLoT达到了99.0%的准确率，超越传统CoT和CoT-SC分别提升了4.1%和2.9%。
关键词
引用
@article{arxiv.2604.06805,
title = {Cognitive Loop of Thought: Reversible Hierarchical Markov Chain for Efficient Mathematical Reasoning},
author = {Jia-Chen Zhang and Yu-Jie Xiong and Zheng Zhou},
journal= {arXiv preprint arXiv:2604.06805},
year = {2026}
}