无需语言的思考：基于抽象链想的高效潜在推理
计算与语言
2026-04-28 v2
摘要
虽然长篇显式链想（CoT）在复杂推理任务中效果显著，但推理期间生成成本高昂。非语言推理方法通过利用连续表示实现较短的生成长度，却在性能上落后于语言化 CoT。我们提出 （Abstract Chain-of-Thought），这是一种离散潜在推理后训练机制，语言模型在生成响应之前产生一序列来自保留词汇表的短标记，以取代自然语言 CoT。在使先前未遇到的“抽象”标记实用方面，我们引入一种基于政策迭代的热身循环，交替进行 (i.) 通过掩码从语言 CoT 中进行瓶颈化并进行监督式微调，和 (ii.) 通过受限解码从提示生成抽象标记的自蒸馏。热身后，我们使用热启动强化学习在受限解码下优化抽象序列的生成。Abstract-CoT 在数学推理、指令遵循和多跳推理任务中实现了最高 的推理标记减少，同时在各类任务上表现出与语言 CoT 相当的性能，并跨越语言模型家族。我们还发现一种类似于自然语言中所见的抽象词汇表的涌现性幂律分布，这一分布在训练阶段不断演化。我们的发现凸显了通过学习抽象推理语言实现高效推理的潜在。
引用
@article{arxiv.2604.22709,
title = {Thinking Without Words: Efficient Latent Reasoning with Abstract Chain-of-Thought},
author = {Keshav Ramji and Tahira Naseem and Ramón Fernandez Astudillo},
journal= {arXiv preprint arXiv:2604.22709},
year = {2026}
}