Transformer、RNN 与链路思考中的组合推理

Gilad Yehudai; Noah Amsel; Joan Bruna

Transformer、RNN 与链路思考中的组合推理

机器学习 2026-01-29 v2 人工智能计算与语言

作者: Gilad Yehudai , Noah Amsel , Joan Bruna

摘要

人们已充分理解，不同的神经网络架构适合不同的任务，但是否存在某个特定任务的最佳单一架构呢？我们比较了Transformer、RNN 和带链路思考标记的Transformer在一种简单且自然的任务类别（称为组合推理问题，CRQ）上的表达能力。这一系列家族任务捕获了具有树状组合结构的多步骤问题，例如求解布尔公式。我们证明，在标准硬度假设下，这三种架构中的任何一种除非某些超参数（深度、嵌入维度和链路思考标记的数量，分别）随输入大小而增长，否则无法解决CRQ。随后，我们为每种架构提供了解题构造。对于Transformer，我们的构造使用深度为问题规模的对数。对于RNN，所需的嵌入维度为对数，只要输入以特定顺序提供。对于带链路思考的Transformer，我们的构造为输入规模为n时使用n个CoT标记。这些结果表明，尽管CRQ本质上较难，但语言模型有多种不同方式克服这一困难。即使针对单个问题类别，每种架构都有其优势和弱点，没有一种架构是严格优于其他架构的。

关键词

Transformer RNN 链路思考组合推理表达能力布尔公式超参数

引用

@article{arxiv.2503.01544,
  title  = {Compositional Reasoning with Transformers, RNNs, and Chain of Thought},
  author = {Gilad Yehudai and Noah Amsel and Joan Bruna},
  journal= {arXiv preprint arXiv:2503.01544},
  year   = {2026}
}

备注

NeurIPS CR version

Transformer、RNN 与链路思考中的组合推理

摘要

关键词

引用

备注

相关论文