通过时序逻辑探讨状态空间模型的表现能力
计算机科学中的逻辑
2026-01-28 v1 形式语言与自动机理论
机器学习
摘要
我们探讨了状态空间模型（SSM）的表达能力，这些模型最近作为大型语言模型中变换器架构的潜在替代方案。基于最近的工作，我们通过对有限迹迹的线性时序逻辑片段和扩展进行分析，来评估SSM的表达能力。我们的结果表明，SSM的表达能力在不同的底层门控机制下差异显著。我们进一步区分了在固定宽度算术（定量模型）上运行的SSM，其表达能力仍在正则语言范围内，而具有无界精度的SSM可以捕捉计数属性和非正则语言。此外，我们提供了对这些不同SSM变体与已知变换器结果的系统性比较，从而阐明了这两种架构在表达能力上的关系。
引用
@article{arxiv.2601.19467,
title = {On the Expressiveness of State Space Models via Temporal Logics},
author = {Eric Alsmann and Lowejatan Noori and Martin Lange},
journal= {arXiv preprint arXiv:2601.19467},
year = {2026}
}