SemCoT：基于语义对齐隐式记号的链律推理加速
计算与语言
2026-01-28 v3
摘要
链律推理（Chain-of-Thought，CoT）的冗长性阻碍了其在效率关键型应用中的大规模部署。最近出现的隐式 CoT 方法通过将推理步骤编码到大语言模型隐藏嵌入中（称为“隐式推理”）来加速 CoT，减少推理长度并绕过部分大语言模型组件。然而，现有隐式 CoT 方法面临两个重大挑战：（1）它们未能保持隐式推理（转化为自然语言时）与真实推理之间的语义对齐，导致显著的 CoT 性能下降；（2）它们仅关注减少隐式推理的长度，却忽视了大语言模型生成单个隐式推理记号的巨大时间成本。为解决这些挑战，我们提出一种新颖的语义对齐隐式 CoT 框架，称为 SemCoT。具体而言，针对第一个挑战，我们设计了一个对比训练的句子转换器，用于评估隐式推理与显式推理之间的语义对齐情况，并用于在隐式推理优化期间保持语义一致性。为解决第二个挑战，我们引入一个高效的隐式推理生成器，通过知识蒸馏微调一个轻量级语言模型。该生成器由我们的句子转换器引导，将真实推理蒸馈到语义对齐的隐式推理中，同时也优化准确性。SemCoT 是首个在 token 级别生成速度和保持与真实推理语义对齐方面进行联合优化的 CoT 效率提升方法。广泛的实验表明，SemCoT 在效率和效果方面均优于最先进的方法。我们的代码可在 https://github.com/YinhanHe123/SemCoT/ 上获取。
引用
@article{arxiv.2510.24940,
title = {SemCoT: Accelerating Chain-of-Thought Reasoning through Semantically-Aligned Implicit Tokens},
author = {Yinhan He and Wendy Zheng and Yaochen Zhu and Zaiyi Zheng and Lin Su and Sriram Vasudevan and Qi Guo and Liangjie Hong and Jundong Li},
journal= {arXiv preprint arXiv:2510.24940},
year = {2026}
}