多层状态空间模型的表达力量与局限性
机器学习
2026-04-17 v1 人工智能
计算复杂性
摘要
我们研究了多层状态空间模型 (SSMs) 的表达力量与局限性。首先，我们表明多层 SSMs 在组合任务中面临根本性局限，揭示了 SSM 与流式模型之间的内在差距。随后，我们检讨了链路思考 (CoT) 的作用，表明离线 CoT 不会根本增加表达力量，而在线 CoT 可以显著提升其力量。事实上，随着在线 CoT，多层 SSMs 的力量等价于流式算法。最后，我们检查了宽度与精度之间的权衡，表明这些资源在基础模型中不可互换，但一旦允许在线 CoT，便存在干净的等价性。总体而言，我们的结果提供了一种统一视角，说明深度、有限精度和 CoT 如何塑造 SSM 的力量与限制。
引用
@article{arxiv.2604.14501,
title = {On the Expressive Power and Limitations of Multi-Layer SSMs},
author = {Nikola Zubić and Qian Li and Yuyi Wang and Davide Scaramuzza},
journal= {arXiv preprint arXiv:2604.14501},
year = {2026}
}
备注
25 pages, 6 theorems