是否使用 CoT？链式思维主要在数学和符号推理中才有帮助

链式思维（CoT）通过提示是从大型语言模型（LLM）中激发推理能力的事实方法。但这种额外的 ``思考'' 对哪些任务真正有帮助？为分析这一问题，我们进行了覆盖超过 100 篇使用 CoT 的定量 meta 分析，并对 20 个数据集中的 14 个模型进行了自己的评估。我们的结果表明，CoT 在涉及数学或逻辑的任务上获得强大的性能收益，而在其他类型的任务上获得的收益要小得多。在 MMLU 上，直接生成答案而不使用 CoT 的准确率几乎与 CoT 相同，除非问题或模型的响应包含等号，这表明涉及符号操作和推理。根据这一发现，我们通过将规划与执行分离并与工具增强 LLM 进行比较来分析 CoT 在这些问题上的行为。CoT 的大部分收益来自改进符号执行，但它在使用符号求解器方面表现不如后者。我们的结果表明，CoT 可以有选择性地应用，保持性能的同时节省推理成本。Furthermore, they suggest a need to move beyond prompt-based CoT to new paradigms that better leverage intermediate computation across the whole range of LLM applications。