状态空间模型的无状态推理：传递函数方法
机器学习
2024-06-04 v2 系统与控制
系统与控制
摘要
我们通过状态空间模型的对偶表示——传递函数来设计用于深度学习应用的状态空间模型，并揭示了一种高效的无状态序列并行推理算法：与其他已提出的算法不同，无状态推理不会随着状态规模的增加而产生任何显著的内存或计算成本。我们利用所提出的频域传递函数参数化的特性实现了这一点，该参数化能够通过单次快速傅里叶变换直接计算其对应卷积核的频谱。我们在多个序列长度和状态规模上的实验结果表明，在Long Range Arena基准测试中，与在时域参数化的S4层相比，我们的方法平均训练速度提升了35%，同时在下游任务中提供了优于其他无注意力方法的性能。此外，我们报告了在语言建模中，通过简单地引入我们的传递函数参数化，相比长卷积Hyena基线模型，困惑度有所改善。我们的代码可在https://github.com/ruke1ire/RTF获取。
引用
@article{arxiv.2405.06147,
title = {State-Free Inference of State-Space Models: The Transfer Function Approach},
author = {Rom N. Parnichkun and Stefano Massaroli and Alessandro Moro and Jimmy T. H. Smith and Ramin Hasani and Mathias Lechner and Qi An and Christopher Ré and Hajime Asama and Stefano Ermon and Taiji Suzuki and Atsushi Yamashita and Michael Poli},
journal= {arXiv preprint arXiv:2405.06147},
year = {2024}
}
备注
Resubmission 02/06/2024: Fixed minor typo of recurrent form RTF