RBF++：链路思考推理中可测量与不可测量能力边界的量化与优化
计算与语言
2025-05-20 v1 人工智能
计算机视觉与模式识别
摘要
链路思考（Chain-of-Thought, CoT）推理在增强大型语言模型（LLM）处理复杂任务方面证明有效，催生了对其内在机制的研究。然而，针对实际应用，仍存在两个主要挑战：（1）缺乏衡量和优化可测量 CoT 能力边界的定量指标和可操作指南；（2）缺乏评估不可测量 CoT 能力边界的方法，例如多模态感知。为此，我们引入了推理边界框架增强版（Reasoning Boundary Framework++, RBF++）。针对第一个挑战，我们定义推理边界（RB）为 CoT 性能的最大限制，并提出一种边界组合法，实现可测量 CoT 任务的定量分析，提供可操作指导。针对第二个挑战，尤其是在多模态场景中，我们引入常数假设，将不可测量的 RB 替换为特定情境的常数。此外，我们提出推理边界划分机制，将不可测量的 RB 划分为两个子边界，从而实现不可测量领域知识和多模态感知能力的定量化与优化。38 个模型跨 13 个任务的大量实验验证了该框架在跨模态设置中的可行性。我们评估了 10 种 CoT 策略，从两个互补视角提供优化与衰减见解，并扩展了衡量 LLM 推理中 RB 的评估基准。我们希望本工作推动对 RB 及 LLM 优化策略的理解。代码与数据已公开于 https://github.com/LightChen233/reasoning-boundary。
引用
@article{arxiv.2505.13307,
title = {RBF++: Quantifying and Optimizing Reasoning Boundaries across Measurable and Unmeasurable Capabilities for Chain-of-Thought Reasoning},
author = {Qiguang Chen and Libo Qin and Jinhao Liu and Yue Liao and Jiaqi Wang and Jingxuan Zhou and Wanxiang Che},
journal= {arXiv preprint arXiv:2505.13307},
year = {2025}
}
备注
Manuscript