HiPPO-Prophecy：状态空间模型可在情境下学习动力系统
机器学习
2025-08-05 v3 机器学习
摘要
本工作探索了状态空间模型（SSM）的情境学习能力，提出了据称最初的理论解释。我们引入一种新的权重构造方法，使SSM能够在观察到先前状态后预测下一个状态，而无需参数微调。这通过扩展HiPPO框架实现，证明连续SSM可逼近任何输入信号的导数。具体而言，我们发现连续SSM的显式权重构造，并提供了对导数逼近的渐近误差界。随后，对该连续SSM进行离散化，可得到预测下一个状态的离散SSM。最后，我们在实验中展示了该参数化方法的有效性。该工作应是理解基于SSM的序列模型如何在情境下学习的第一步。
引用
@article{arxiv.2407.09375,
title = {HiPPO-Prophecy: State-Space Models can Provably Learn Dynamical Systems in Context},
author = {Federico Arangath Joseph and Kilian Konstantin Haefeli and Noah Liniger and Caglar Gulcehre},
journal= {arXiv preprint arXiv:2407.09375},
year = {2025}
}
备注
ICML 2024, Next Generation Sequence Modeling Architectures Workshop