奇偶性需要统一输入依赖性和负特征值于SSM
机器学习
2025-08-12 v1
摘要
最近的工作表明，LRNN模型如S4D、Mamba和DeltaNet由于时间不变的转移矩阵或受限的特征值范围而缺乏状态跟踪能力。为此，提出了具有输入依赖性的转移矩阵，特别是复数或非三角形矩阵，以提高SSM在此类任务上的性能。虽然现有的定理表明无论深度如何，输入独立且非负的SSM都无法解决简单的状态跟踪任务（如奇偶性），但它们并未探讨将这两种类型在多层SSM中组合是否能帮助解决该问题。我们针对具有对角转移矩阵的高效SSM进行了实验，表明此类组合仍无法解决奇偶性问题。这意味着递归层必须同时具有输入依赖性并包含负特征值。我们的实验结果支持这一结论，通过分析一种结合S4D和Mamba层的SSM模型。
引用
@article{arxiv.2508.07395,
title = {Parity Requires Unified Input Dependence and Negative Eigenvalues in SSMs},
author = {Behnoush Khavari and Mehran Shakerinava and Jayesh Khullar and Jerry Huang and François Rivest and Siamak Ravanbakhsh and Sarath Chandar},
journal= {arXiv preprint arXiv:2508.07395},
year = {2025}
}
备注
5 pages. Accepted at ICML 2025 Workshop on Methods and Opportunities at Small Scale