用于序列建模的简化状态空间层
机器学习
2023-03-06 v3
摘要
使用结构化状态空间序列（S4）层的模型在长程序列建模任务上取得了最先进的性能。S4 层结合了线性状态空间模型（SSM）、HiPPO 框架和深度学习以实现高性能。我们基于 S4 层的设计，引入了一种新的状态空间层，即 S5 层。S4 层使用许多独立的单输入单输出 SSM，而 S5 层使用一个多输入多输出 SSM。我们建立了 S5 与 S4 之间的联系，并借此开发了 S5 模型所用的初始化和参数化。结果是一个可利用高效且被广泛实现的并行扫描的状态空间层，使 S5 能匹配 S4 的计算效率，同时在多个长程序列建模任务上达到最先进性能。S5 在 long range arena 基准上平均 87.4%，在最困难的 Path-X 任务上达 98.5%。
引用
@article{arxiv.2208.04933,
title = {Simplified State Space Layers for Sequence Modeling},
author = {Jimmy T. H. Smith and Andrew Warrington and Scott W. Linderman},
journal= {arXiv preprint arXiv:2208.04933},
year = {2023}
}