揭示对角状态空间模型中的谱偏置
机器学习
2025-08-29 v1 人工智能
摘要
当前用于初始化状态空间模型 (SSM) 参数的方法主要依赖基于在线近似正交多项式的 \textit{HiPPO 框架}。最近，基于对角化的替代方案表现出接近相同性能的优势，因其在核计算中简化而更为高效。然而，\textit{HiPPO 框架}未明确研究其对角变体的作用。本文从频率视角进一步探讨对角 SSM 初始化方案的作用。我们的工作旨在系统性地理解如何参数化这些模型，并揭示此类对角状态空间模型中内在的学习偏置。基于我们的观察，我们提出一种基于离散傅里叶域的对角初始化方案 \textit{S4D-DFouT}。关于极点置放在初始化中的作用的见解使我们能够进一步规模化，并在 Long Range Arena 基准测试上实现最先进的结果，使我们能够在 very large 数据集上从头开始训练，如 PathX-256。
引用
@article{arxiv.2508.20441,
title = {Uncovering the Spectral Bias in Diagonal State Space Models},
author = {Ruben Solozabal and Velibor Bojkovic and Hilal AlQuabeh and Kentaro Inui and Martin Takáč},
journal= {arXiv preprint arXiv:2508.20441},
year = {2025}
}