中文

不如所有错误一样重要:ASCoT 解决高效 LLM 推理中的后期脆弱性

计算与语言 2026-03-04 v5

摘要

虽然链式思维(CoT)提示方法赋能了大型语言模型(LLM),但确保推理可靠性仍是开放挑战。与主流的 Cascading failure 假说(即早期错误最具破坏性)相反,我们发现一种反直觉现象,称为 Late-Stage Fragility:后期推理阶段引入的错误更容易破坏最终答案。为此,我们提出ASCoT(Adaptive Self-Correction Chain-of-Thought),一种兼顾效率与鲁棒性验证的方法。ASCoT 首先采用语义剪枝压缩冗余步骤,然后利用自适应验证管理器(AVM)通过位置影响分数优先考虑高风险的后期步骤,当必要时触发多视角自我纠错引擎(MSCE)。在GSM8K 和 MATH-500 上的实验表明,ASCoT 有效地重新分配了计算资源:对于 LLaMA-3.1-8B,token 使用降低 21%--30%,准确率下降不足 1.8%,实现了推理效率与推理保真度之间更优越的权衡。

关键词

引用

@article{arxiv.2508.05282,
  title  = {Not All Errors Are Created Equal: ASCoT Addresses Late-Stage Fragility in Efficient LLM Reasoning},
  author = {Dongxu Zhang and Yujun Wu and Yiding Sun and Jinnan Yang and Ning Yang and Jihua Zhu and Miao Xin and Baoliang Tian},
  journal= {arXiv preprint arXiv:2508.05282},
  year   = {2026}
}