自相关关系至关重要：了解状态空间模型初始化方案的作用
机器学习
2024-12-02 v1
摘要
当前用于初始化状态空间模型(SSM)参数的方法主要依赖HiPPO框架，该框架基于在SSM核基函数上进行的在线函数逼近。然而，HiPPO框架未明确考虑输入序列时间结构对SSM优化的影响。在本文中，我们进一步通过考虑输入序列的自相关性来探讨SSM初始化方案的作用。具体而言，我们：（1）严格表征了SSM时间尺度与序列长度之间基于序列自相关关系的依赖性；（2）发现当具有恰当的时间尺度时，允许SSM状态矩阵特征值的实部为零，可在保持初始化稳定性的同时缓解记忆诅咒；（3）表明SSM状态矩阵特征值的虚部决定了SSM优化问题的条件数，并揭示了在特定目标函数类别的SSM训练中存在的近似-估计权衡。
引用
@article{arxiv.2411.19455,
title = {Autocorrelation Matters: Understanding the Role of Initialization Schemes for State Space Models},
author = {Fusheng Liu and Qianxiao Li},
journal= {arXiv preprint arXiv:2411.19455},
year = {2024}
}