超越语言推理：潜在链状推理 (Latent Chain-of-Thought) 的全面综述
计算与语言
2025-11-04 v2
摘要
大型语言模型 (LLMs) 通过链状推理 (Chain-of-Thought, CoT) 在复杂任务上展现出惊人的性能。然而，传统 CoT 依赖显式 verbalized 的中间步骤，这限制了其在语言之外的抽象推理任务中的更广泛适用性。为此，越来越多的研究关注潜在 CoT 推理 (latent CoT reasoning)，即推理过程嵌入潜在空间中。通过将推理从显式语言生成中解耦，潜在 CoT 有望提供更丰富的认知表征，并促进更灵活、更快的推理。本文旨在提供这一新兴范式的全面概述，并建立系统的分类框架。我们分析了近期进展，将其从 token 级别的水平方法到层级的垂直策略进行分类。随后深入讨论了这些方法，强调其设计原则、应用场景和剩余挑战。我们希望本综述为推进 LLM 推理的这一前景方向提供结构化基础。相关论文将持续更新于 https://github.com/EIT-NLP/Awesome-Latent-CoT。
关键词
引用
@article{arxiv.2505.16782,
title = {Reasoning Beyond Language: A Comprehensive Survey on Latent Chain-of-Thought Reasoning},
author = {Xinghao Chen and Anhao Zhao and Heming Xia and Xuan Lu and Hanlin Wang and Yanjun Chen and Wei Zhang and Jian Wang and Wenjie Li and Xiaoyu Shen},
journal= {arXiv preprint arXiv:2505.16782},
year = {2025}
}