深度循环注意力混合：为潜在推理分配注意力
人工智能
2026-01-30 v1 计算与语言
机器学习
摘要
深度循环有助于通过在深度之间共享参数来促进潜在推理。然而，先前的工作缺乏结合 FLOP、参数和内存匹配的基线， underutilizes depth-recurrence due to partially fixed layer stacks, and ignores the bottleneck of constant hidden-sizes that restricts many-step latent reasoning. 为了解决这个问题，我们引入了深度循环注意力混合 (Dreamer) 的模块化框架，将序列注意力、深度注意力和稀疏专家注意力相结合。它通过注意力沿深度方向缓解了 hidden-size 瓶颈，解耦了扩展维度，使深度循环模型能够高效有效地扩展。在语言推理基准测试中，我们的模型需要比 FLOP、参数和内存匹配的 SOTA 模型少 2 到 8 倍的训练标记，同时也能在相同的训练标记下超过约 2 倍的 SOTA 模型。我们进一步提供了关于深度之间知识使用情况的见解，例如显示比 SOTA 的 MoE 高出 2 到 11 倍的专家选择多样性。
引用
@article{arxiv.2601.21582,
title = {Depth-Recurrent Attention Mixtures: Giving Latent Reasoning the Attention it Deserves},
author = {Jonas Knupp and Jan Hendrik Metzen and Jeremias Bohn and Georg Groh and Kristian Kersting},
journal= {arXiv preprint arXiv:2601.21582},
year = {2026}
}