Transformer 与状态空间模型的机械评估
计算与语言
2026-02-02 v3 人工智能
摘要
状态空间模型（SSM）在语言建模方面承诺作为二次注意力 Transformer 的高效替代方案，但在 recalling basic information from context 时表现不一。虽然围绕 Associativity Recall（AR）等合成任务的性能可指出这一不足，但行为指标对解释“为何”——在机制层面——某些架构失败而其他架构成功几乎没有信息。为此，我们对 AR 进行实验，发现仅 Transformer 和 Based SSM 模型在 AR 上完全成功，Mamba 和 DeltaNet 紧随其后，而其他 SSM（H3、Hyena）则失败。我们随后使用因果干预来解释原因。我们发现 Transformer 和 Based 学习在上下文中存储 key-value 关联使用归纳机制。相比之下，SSM 似乎仅在单个层中通过单一层计算这些关联。我们进一步研究 Mamba 成功背后的机制，发现 Mamba 确实实现了归纳：并非通过 SSM，而是通过短卷积实现。进一步实验在新的分层检索任务 Associative Tree（ATR）上表明，所有架构都以相同的方式学习 AR 所学到的机制。此外，我们展示 Mamba 在移除短卷积时可学习类似 Attention 的归纳机制。这些结果揭示了具有相似准确性的架构仍存在实质性差异，动机促使采用机制评估。
引用
@article{arxiv.2505.15105,
title = {Mechanistic evaluation of Transformers and state space models},
author = {Aryaman Arora and Neil Rathi and Nikil Roashan Selvam and Róbert Csordás and Dan Jurafsky and Christopher Potts},
journal= {arXiv preprint arXiv:2505.15105},
year = {2026}
}
备注
9 page main text, 22 pages total