选择性状态空间模型在正则语言上的表达性与长度广义性
机器学习
2025-07-08 v2 人工智能
计算与语言
摘要
选择性状态空间模型(SSM)是Transformer的一种新兴替代方案，具有并行训练和顺序推理的独特优势。尽管这些模型在各种任务上显示出前景，但其形式表达性和长度广义性仍未得到充分探讨。本文通过分析选择性SSM在正则语言任务上的表达性和长度广义性来深入了解其工作原理，即有限状态自动机(FSA)仿真。我们通过引入选择性稠密状态空间模型(SD-SSM)，该模型是首个在各种正则语言任务上实现完美长度广义性的选择性SSM，来解决现代SSM架构的某些局限性。它利用稠密转换矩阵的字典，softmax选择机制在每个时间步创建字典矩阵的凸组合，以及由层归一化后线性映射组成的读取器。随后，我们评估了对角线选择性SSM的变体，通过考虑其在交换和非交换自动机上的经验性能来评估。我们用理论考虑解释实验结果。我们的代码可在https://github.com/IBM/selective-dense-state-space-model获得。
引用
@article{arxiv.2412.19350,
title = {On the Expressiveness and Length Generalization of Selective State-Space Models on Regular Languages},
author = {Aleksandar Terzić and Michael Hersche and Giacomo Camposampiero and Thomas Hofmann and Abu Sebastian and Abbas Rahimi},
journal= {arXiv preprint arXiv:2412.19350},
year = {2025}
}
备注
13 pages, 7 figures, Published in AAAI 2025