推理步长对大型语言模型的影响

思维链（Chain of Thought, CoT）在提升大型语言模型（LLMs）的推理能力方面具有重要意义。然而，CoT的有效性与提示中推理步长之间的相关性在很大程度上仍不为人知。为阐明这一点，我们进行了若干实证实验来探索这些关系。具体而言，我们设计了在保持所有其他因素不变的情况下，扩展和压缩CoT示例中推理步骤的实验。我们得出以下关键发现。首先，结果表明，即使在提示中不添加新信息，延长提示中的推理步骤也能显著增强LLMs在多个数据集上的推理能力。反之，即使保留关键信息，缩短推理步骤也会显著削弱模型的推理能力。这一发现凸显了CoT提示中步骤数量的重要性，并为在复杂问题解决场景中更好地利用LLMs的潜力提供了实践指导。其次，我们还研究了CoT性能与示例中所用推理依据之间的关系。令人惊讶的是，结果表明，即使是不正确的推理依据，只要保持必要的推理长度，也能产生有利的结果。第三，我们观察到增加推理步骤的优势是任务依赖的：较简单的任务需要较少的步骤，而复杂任务则从更长的推理序列中显著获益。代码可在 https://github.com/MingyuJ666/The-Impact-of-Reasoning-Step-Length-on-Large-Language-Models 获取。