CoT-Valve：可压缩链式思考调谐
人工智能
2025-02-14 v1 计算与语言
摘要
链式思考显著提升了模型的推理能力，但也因长链带来了相当大的推理成本。我们观察到，推理路径在容易任务下可轻松压缩，而在困难任务中则难以压缩。我们探讨了仅通过一个模型即可弹性控制推理链长度，以根据任务难度动态降低推理模型的开销的可行性。我们引入一种名为 CoT-Valve 的新型调谐和推理策略，旨在允许模型生成长度不同的推理链。为实现这一目标，我们提出识别参数空间中的一个方向，当被操控时，可有效控制生成 CoT 的长度。此外，我们表明这一属性对压缩推理链具有重要价值。我们构建了包含从长到短链的 datasets for the same questions，并探索两种增强的 CoT-Valve 方法： (1) 一种精确的可压缩 CoT 调谐方法， (2) 一种渐进的链长度压缩方法。我们的实验表明，CoT-Valve 成功实现了推理链的可控性和可压缩性，并在各种任务上的表现优于基于提示的控制方法。我们将该方法应用于 QwQ-32B-Preview，在 GSM8K 上将推理链从 741 减少到 225 token，仅有 95.07% 至 94.92% 的性能轻微下降；在 AIME 上将推理链从 6827 减少到 4629 token，仅多出一个错误答案。
引用
@article{arxiv.2502.09601,
title = {CoT-Valve: Length-Compressible Chain-of-Thought Tuning},
author = {Xinyin Ma and Guangnian Wan and Runpeng Yu and Gongfan Fang and Xinchao Wang},
journal= {arXiv preprint arXiv:2502.09601},
year = {2025}
}
备注
Work in progress. Code will be released at https://github.com/horseee/CoT-Valve