对角状态空间与结构化状态空间同样有效
机器学习
2022-05-20 v3 计算与语言
摘要
对序列数据中的长程依赖建模，是在文本、视觉、音频和视频等多种模态中达到人类水平性能的基本步骤。虽然基于注意力的模型在建模短程交互中是流行且有效的选择，但其在需要长程推理的任务上表现大体不足。在一项令人振奋的结果中，Gu等人（ICLR 2022）提出了（S4，结构化状态空间）架构，在多个模态的若干长程任务上大幅超越最先进模型。S4的核心主张是通过对角加低秩结构对状态矩阵进行参数化，从而实现高效计算。本工作中，我们证明即便没有低秩修正、即假设状态矩阵为对角阵，也能匹配S4的性能。我们的（DSS，对角状态空间）模型在Long Range Arena任务、Speech Commands数据集上的语音分类中匹配了S4的性能，同时在概念上更简单且易于实现。
引用
@article{arxiv.2203.14343,
title = {Diagonal State Spaces are as Effective as Structured State Spaces},
author = {Ankit Gupta and Albert Gu and Jonathan Berant},
journal= {arXiv preprint arXiv:2203.14343},
year = {2022}
}
备注
updated version with simpler DSS variants, RNN view for autoregressive decoding, ablation analysis, analysis of trained model parameters and kernels