中文

连续链式推理在多语言推理中更合适吗?

计算与语言 2026-03-10 v1 人工智能 机器学习

摘要

我们探讨了在连续潜在空间中进行推理是否能实现更稳健的多语言能力。我们将使用 CODI 框架的连续链式推理(Continuous Chain-of-Thought)与标准监督微调方法进行比较,实验涵盖五种类型多样的语言:英语、中文、德语、法语和乌尔都语。我们的实验在 GSM8k 和 CommonsenseQA 上表明,连续推理在低资源语言上显著优于显式推理,尤其是在零样本设置下(即目标语言在训练期间未被观察)。此外,该方法实现了极端的效率,将推理痕迹压缩约为 29×29\times50×50\times。这些发现表明,连续潜在表示天然地 exhibits greater language invariance,为跨语言推理提供了可扩展的解决方案。

关键词

引用

@article{arxiv.2603.08177,
  title  = {Is continuous CoT better suited for multi-lingual reasoning?},
  author = {Ali Hamza Bashir and Behzad Shomali and Markus Frey and Mehdi Ali and Rafet Sifa and David Berghaus},
  journal= {arXiv preprint arXiv:2603.08177},
  year   = {2026}
}

备注

Accepted at the ICLR latent reasoning workshop