关于对角状态空间模型的参数化与初始化
机器学习
2022-08-08 v2
摘要
状态空间模型（SSM）最近被证明作为深度学习层非常有效，是 RNN、CNN 或 Transformer 等序列模型的一种有前景的替代方案。首个展示此潜力的是 S4 模型，它通过使用称为 HiPPO 矩阵的预设状态矩阵，在处理长程依赖任务上特别有效。虽然这具有可解释的长依赖建模数学机制，但它引入了难以实现的自定义表示和算法。另一方面，S4 的近期变体 DSS 表明，当使用基于近似 S4 矩阵特定初始化时，将状态矩阵限制为完全对角仍能保持原始模型的性能。本工作旨在系统理解如何参数化和初始化此类对角状态空间模型。虽然根据经典结论几乎所有 SSM 都有等价对角形式，但我们表明初始化对性能至关重要。我们通过证明在无限状态维度极限下 S4 矩阵的对角限制意外地恢复了相同核，从数学上解释了 DSS 为何有效。我们还系统描述了参数化和计算对角 SSM 的各种设计选择，并进行了受控实证研究以消融这些选择的影响。我们的最终模型 S4D 是 S4 的简单对角版本，其核计算仅需 2 行代码，并在几乎所有设置中与 S4 表现相当，在图像、音频和医疗时间序列领域取得最先进结果，并在 Long Range Arena 基准上平均达到 85%。
引用
@article{arxiv.2206.11893,
title = {On the Parameterization and Initialization of Diagonal State Space Models},
author = {Albert Gu and Ankit Gupta and Karan Goel and Christopher Ré},
journal= {arXiv preprint arXiv:2206.11893},
year = {2022}
}