利用结构化状态空间高效建模长序列

序列建模的一个核心目标是设计一种单一且原理性的模型，能够处理多种模态与任务下的序列数据，尤其是长程依赖。尽管包括 RNN、CNN 和 Transformer 在内的传统模型已有专门用于捕捉长依赖的变体，它们仍难以扩展到 10000 步或更长的超长序列。近期一种有前景的方法提出通过模拟基础状态空间模型（SSM）$x'(t) = Ax(t) + Bu(t), y(t) = Cx(t) + Du(t)$ 来建模序列，并表明对于状态矩阵 $A$ 的适当选择，该系统可在数学与经验上处理长程依赖。然而，该方法具有极高的计算与内存需求，使其无法作为通用的序列建模方案。我们基于 SSM 的一种新参数化提出结构化状态空间序列模型（S4），并表明其可比先前方法高效得多地计算，同时保留其理论优势。我们的技术涉及用低秩修正对 $A$ 进行条件化，使其能稳定对角化并将 SSM 归约为被广泛研究的柯西核计算。S4 在一系列多样的既定基准上取得了强劲的经验结果，包括：(i) 在无数据增强或辅助损失的情况下于顺序 CIFAR-10 上达到 91% 准确率，与更大的 2-D ResNet 相当；(ii) 在图像与语言建模任务上大幅缩小与 Transformer 的差距，同时以 $60\times$ 更快的速度进行生成；(iii) 在 Long Range Arena 基准的每一项任务上均达到 SOTA，包括解决了所有先前工作均失败的长度为 16k 的极具挑战性的 Path-X 任务，同时与所有竞争者一样高效。