UnHiPPO：基于不确定性的状态空间模型初始化
机器学习
2025-06-06 v1 机器学习
摘要
状态空间模型正成为序列问题的主导模型类，许多模型依赖HiPPO框架进行动态初始化。然而，HiPPO本质上假设数据无噪声，这在实际应用中常被违背。我们扩展HiPPO理论，纳入测量噪声，推导出面向状态空间模型动态的不确定性感知初始化方法。在分析中，我们将HiPPO解释为线性随机控制问题，其中数据以无噪声控制信号形式呈现。随后我们对问题进行改造，使数据成为潜在系统的带噪声输出，得出一种无增加计算复杂度即可从数据推断该潜在系统后验分布的备用动态初始化方案。我们的实验表明，该初始化显著提升了状态空间模型在训练与推理阶段对噪声的抗性。实现代码已公开：https://cs.cit.tum.de/daml/unhippo
引用
@article{arxiv.2506.05065,
title = {UnHiPPO: Uncertainty-aware Initialization for State Space Models},
author = {Marten Lienen and Abdullah Saydemir and Stephan Günnemann},
journal= {arXiv preprint arXiv:2506.05065},
year = {2025}
}
备注
Published at ICML 2025