HiPPO-LegS ODE的数值分析用于深层状态空间模型
数值分析
2025-06-10 v2 机器学习
数值分析
摘要
在深度学习中，最近引入的状态空间模型利用HiPPO（高阶多项式投影算子）记忆单元来逼近输入函数的连续时间轨迹，这些技术通过常微分方程（ODE）实现，并在捕捉长输入序列中的长程依赖方面显示出经验性成功。然而，这些ODE的数学基础，特别是奇异的HiPPO-LegS（Legendre Scaled）ODE，以及其相应的数值离散化，仍未得到界定。本文通过建立HiPPO-LegS ODE尽管具有奇异性却是良好定义的，尽管没有任意初始条件的自由度来填补这一空白。进一步，我们为Riemann可积输入函数建立了相关数值离散化方案的收敛性。
引用
@article{arxiv.2412.08595,
title = {Numerical Analysis of HiPPO-LegS ODE for Deep State Space Models},
author = {Jaesung R. Park and Jaewook J. Suh and Youngjoon Hong and Ernest K. Ryu},
journal= {arXiv preprint arXiv:2412.08595},
year = {2025}
}