基于雅可比迭代的并行连续链思考
计算与语言
2026-02-27 v2
摘要
连续链思考（continuous chain-of-thought）已被证明在节省大语言模型的推理 token 方面有效。通过使用连续潜在思考 token，连续 CoT 能够以紧凑的方式进行隐式推理。然而，潜在思考 token 之间的序列依赖关系会破坏并行训练，导致训练时间较长。本文提出并行连续链思考（Parallel Continuous Chain-of-Thought, PCCoT），其对潜在思考 token 进行雅可比迭代（Jacobi iteration），以并行而非顺序方式进行迭代，从而提高了连续 CoT 的训练和推理效率。实验表明，通过选择合适的迭代次数，我们能够在节省近 50% 训练和推理时间的同时，实现与或更好于原方法的相当甚至更好的性能。此外，PCCoT 在训练过程中表现出更好的稳定性和鲁棒性。我们的代码已公开于 https://github.com/whyNLP/PCCoT。
关键词
引用
@article{arxiv.2506.18582,
title = {Parallel Continuous Chain-of-Thought with Jacobi Iteration},
author = {Haoyi Wu and Zhihao Teng and Kewei Tu},
journal= {arXiv preprint arXiv:2506.18582},
year = {2026}
}
备注
Accepted to EMNLP 2025 main conference