前置链律：用于链律压缩的协作框架
计算与语言
2025-10-13 v1 人工智能
摘要
近期发展使得通过长链律（Chain-of-Thought, CoT）实现大型语言模型（LLM）具备先进推理能力，但由于生成式LLM的自回归特性，长CoT导致高计算成本和显著延迟损失。CoT压缩旨在通过缩短输出长度来提高推理过程的效率。以往方法要么通过繁琐的离散提示设计，要么构建外部压缩CoT数据集，牺牲关键推理细节。本文提出一种名为Upfront CoT（UCoT）的高效推理框架，通过前置思维嵌入来自动化CoT压缩。UCoT是一个由小型模型（压缩器）和大型模型（执行器）组成的协作工作流程。UCoT的第一个阶段训练压缩器以生成富含推理信息的前置思维嵌入，以供执行器使用，避免了人工设计提示的缺点。第二个阶段通过奖励机制优化执行器以利用前置思维嵌入，以简短推理推导出正确答案。广泛的实验表明，UCoT在保持执行器强大推理能力的同时，显著减少了CoT的长度。值得注意的是，当将UCoT应用于Qwen2.5-7B-Instruct模型时，该方法在GSM8K数据集上的token使用量减少50%，而性能比最先进（SOTA）方法高出3.08%。代码和数据集位于补充材料中。
引用
@article{arxiv.2510.08647,
title = {Upfront Chain-of-Thought: A Cooperative Framework for Chain-of-Thought Compression},
author = {Chengzhengxu Li and Xiaoming Liu and Zhaohan Zhang and Shaochu Zhang and Shengchao Liu and Guoxin Ma and Yu Lan and Chao Shen},
journal= {arXiv preprint arXiv:2510.08647},
year = {2025}
}
备注
ACL2026 Under Review