基于 Mamba-2 注意力混合的微型递归推理
人工智能
2026-03-16 v2 计算与语言
摘要
近期的递归推理模型（如 TRM）的研究表明，小型网络（700 万参数）可通过潜在递归实现强大的抽象推理性能——即在不输出中间 token 的情况下，对隐藏表示空间进行迭代细化。这自然引出一个问题：所选操作符是否合适？Mamba-2 的状态空间递归本身即是一种迭代细化，因而成为递归推理的自然候选——但在递归框架中引入 Mamba-2 是否会保留推理能力？我们通过替换 TRM 中的 Transformer 块为 Mamba-2 混合操作符，同时保持参数规模不变（683 万 vs 686 万参数），来进行此次研究。在 ARC-AGI-1 基准上，我们发现混合模型在 pass@2（官方指标）上提升了 +2.0%（45.88% vs 43.88%），在更高 K 值下均表现出优势（pass@100 提升 +4.75%），同时保持 pass@1 性能。这表明模型在候选覆盖方面表现更佳——正确解答的生成更可靠——而在顶级选择方面保持类似。我们的结果验证了 Mamba-2 混合操作符在递归框架中能够保留推理能力，确立了基于 SSM 的操作符作为递归算子设计空间中可行候选人的地位，并为理解递归推理中最佳混合策略迈出了第一步。
引用
@article{arxiv.2602.12078,
title = {Tiny Recursive Reasoning with Mamba-2 Attention Hybrid},
author = {Wenlong Wang and Fergal Reid},
journal= {arXiv preprint arXiv:2602.12078},
year = {2026}
}
备注
Published at ICLR 2026 Latent & Implicit Thinking Workshop