通过近似对角化增强状态空间模型处理长序列的鲁棒性
机器学习
2023-10-04 v1 机器学习
摘要
状态空间模型（SSMs）近来作为一种学习长程序列任务的框架而出现。一个例子是结构化状态空间序列（S4）层，它利用了 HiPPO 初始化框架的对角加低秩结构。然而，S4 层的复杂结构带来了挑战；并且，为解决这些挑战，诸如 S4D 和 S5 的模型考虑了纯粹的对角结构。这一选择简化了实现、提高了计算效率并允许通道通信。然而，对 HiPPO 框架进行对角化本身是一个不适定问题。在本文中，我们针对机器学习中这一及相关的不适定对角化问题提出了一个通用解。我们引入了基于非正规算子的伪谱理论、可解释为定义 SSMs 的非正规矩阵的近似对角化的一般的、向后稳定的“扰动后对角化”（PTD）方法。基于此，我们引入了 S4-PTD 和 S5-PTD 模型。通过对不同初始化方案的传递函数进行理论分析，我们证明了 S4-PTD/S5-PTD 初始化强收敛于 HiPPO 框架，而 S4D/S5 初始化仅达到弱收敛。因此，我们的新模型对傅里叶模式噪声扰动的输入表现出韧性，这是 S4D/S5 模型未能实现的关键性质。除改进的鲁棒性外，我们的 S5-PTD 模型在 Long-Range Arena 基准上平均达到 87.6% 的准确率，表明 PTD 方法有助于提升深度学习模型的准确率。
引用
@article{arxiv.2310.01698,
title = {Robustifying State-space Models for Long Sequences via Approximate Diagonalization},
author = {Annan Yu and Arnur Nigmetov and Dmitriy Morozov and Michael W. Mahoney and N. Benjamin Erichson},
journal= {arXiv preprint arXiv:2310.01698},
year = {2023}
}