The Expressive Limits of Diagonal SSMs for State-Tracking
机器学习
2026-03-03 v1
摘要
状态空间模型(SSM)最近在各种长范围序列建模任务上取得了强大的实证性能，同时保持高效且高度并行化。然而，关于其表达力的理论理解仍有限。本文研究输入依赖复杂值对角(DCD)SSM在序列状态跟踪任务中的表达能力。我们证明，单层DCD SSM无法以有限精度表达任意非阿贝尔群的状态跟踪。更一般地，我们证明k层DCD SSM在表达群时，如果且 only if该群具有长度为k的正规序列，其因子为阿贝尔群。也就是说，我们确定了k层DCD SSM在可解群中的精确表达范围。经验上，我们发现，多层模型常常无法学习非阿贝尔群的状态跟踪，这突显了表达力与可学习性之间的差距。
引用
@article{arxiv.2603.01959,
title = {The Expressive Limits of Diagonal SSMs for State-Tracking},
author = {Mehran Shakerinava and Behnoush Khavari and Siamak Ravanbakhsh and Sarath Chandar},
journal= {arXiv preprint arXiv:2603.01959},
year = {2026}
}
备注
18 pages, 5 figures, 4 tables. Accepted at ICLR 2026