通过电路复杂度视角审视状态空间模型与Mamba的计算极限

本文利用电路复杂度框架分析了Mamba和状态空间模型(SSMs)的计算局限性。尽管Mamba具有有状态设计，并且近期被视为Transformer的有力替代者，我们证明了具有$\mathrm{poly}(n)$精度和常数深度层的Mamba和SSMs均属于$\mathsf{DLOGTIME}$-uniform $\mathsf{TC}^0$复杂度类。该结果表明，Mamba在理论上与Transformer具有相同的计算能力，并且如果$\mathsf{TC}^0 \neq \mathsf{NC}^1$，它无法解决诸如算术公式问题、布尔公式值问题和置换组合问题等问题。因此，这挑战了Mamba比Transformer更具计算表达能力的假设。我们的贡献包括严格的证明，表明选择性SSM和Mamba架构可以被$\mathsf{DLOGTIME}$-uniform $\mathsf{TC}^0$电路模拟，并且它们无法解决$\mathsf{TC}^0$之外的问题。