基于 Hankel 奇异值正则化的高度可压缩状态空间模型

使用状态空间模型作为层的深度神经网络适用于长序列任务，但训练后压缩过程往往困难。我们发现，对状态空间模型的 Hankel 奇异值求和进行正则化可导致这些奇异值快速衰减，从而实现可压缩模型。为提升 Hankel 奇异值正则化的可扩展性，我们开发了一种算法，利用我们所采用的状态空间模型参数化中特定块对角结构，高效计算训练迭代中的 Hankel 奇异值。在 Long Range Arena 基准测试中实验表明，经正则化的状态空间层相较于标准状态空间层可实现压缩率提升最高达 10 倍，同时保持高准确率。