用于高效数学推理的马尔可夫思维链

多步思维链（CoT）受益于推理步骤的逻辑结构和任务特定动作，显著增强了大型语言模型的数学推理能力。随着长CoT的普及，推理步骤的数量超过了可管理的token限制，并导致更高的计算需求。受人类认知基本逻辑“推导，然后约简”的启发，我们将标准的多步CoT概念化为一种新颖的马尔可夫思维链（MCoT）。在本研究中，我们考虑数学推理任务，将每个推理步骤定义为伴随有Python代码片段的文本。为了促进更长的推理路径，通过与代码解释器的交互实现了自我纠正。我们的MCoT旨在将先前的推理步骤压缩成一个简化的问题，从而无需依赖长KV缓存即可实现高效的下一步推理。在我们的实验中，我们整理了$\texttt{MCoTInstruct}$数据集，实证结果表明MCoT不仅显著提高了效率，而且保持了相当的准确性。尽管还有许多有待探索，但这项工作为探索LLM的长CoT推理能力铺平了道路。代码可在https://github.com/james-yw/Markov-Chain-of-Thought获取。