解构思考能力：一种量化与优化链条推理框架
计算与语言
2024-10-29 v2
摘要
链条推理（Chain-of-Thought, CoT）推理方法已成为提升大型语言模型（LLM）在复杂推理任务上性能的有前景方法。最近的一系列研究试图解释CoT背后机制，以深化对其有效性的理解。然而，现有研究面临两个主要挑战：（1）缺乏量化CoT能力的指标，（2）缺乏指导CoT性能优化的途径。为了应对这些挑战，本文引入一种新型推理边界框架（reasoning boundary framework, RBF）。为解决量化不足，首先定义推理边界（reasoning boundary, RB）以量化CoT的上限，并建立RB的组合定律，实现适用于各种实际CoT任务的实用定量方法。为解决优化不足，提出三类RB，并通过聚焦RB提升和推理路径优化的组合定律对这些类别进行优化。通过对27个模型和5个任务的大量实验，本研究验证了所提框架的合理性与存在性。此外，解释了10种CoT策略的有效性，并从两个角度指导优化。我们希望本工作能为LLM推理的边界及优化策略提供全面理解。我们的代码与数据已公开于 https://github.com/LightChen233/reasoning-boundary。
引用
@article{arxiv.2410.05695,
title = {Unlocking the Capabilities of Thought: A Reasoning Boundary Framework to Quantify and Optimize Chain-of-Thought},
author = {Qiguang Chen and Libo Qin and Jiaqi Wang and Jinxuan Zhou and Wanxiang Che},
journal= {arXiv preprint arXiv:2410.05695},
year = {2024}
}
备注
Accepted at NeurIPS 2024 (Oral)