状态空间模型中状态的幻觉

与之前无处不在的Transformer架构相比，状态空间模型已成为构建大型语言模型的一种潜在替代架构。Transformer的一个理论弱点是它们无法表达某些类型的顺序计算和状态跟踪，而SSM正是通过其与循环神经网络高度相似的架构设计来明确解决这一问题。但是，SSM在状态跟踪方面的表达能力真的（比Transformer）有优势吗？令人惊讶的是，答案是否定的。我们的分析揭示，SSM的表达能力与Transformer非常相似地受到限制：SSM无法表达复杂度类$\mathsf{TC}^0$之外的计算。特别是，这意味着它们无法解决像排列组合这样的简单状态跟踪问题。由此可见，SSM被证明无法准确跟踪特定记谱法的国际象棋走法、评估代码或跟踪长篇叙述中的实体。为了补充我们的形式化分析，我们报告了实验，显示Mamba风格的SSM确实在状态跟踪方面存在困难。因此，尽管其具有循环形式，SSM中的“状态”是一种幻觉：SSM与Transformer等非循环模型具有相似的表达局限性，这可能从根本上限制它们解决现实世界状态跟踪问题的能力。