HiPPO 动物园：可解释状态空间模型的显式记忆机制
机器学习
2026-02-26 v1
摘要
在顺序数据上训练的系统中，如何以压缩、高效且信息丰富的方式表示过去，是核心问题。HiPPO 框架原早由 Gu & Dao 等人提出，通过结构化线性常微分方程将信号投影到正交多项式(OP)基上，提供了对顺序压缩的原则方法。后续研究将这些动力学嵌入状态空间模型(SSM)，其中 HiPPO 结构作为初始化。此类 SSM 方法的非线性后继者如 Mamba 在处理长程依赖问题上表现卓越，但其如何表示和优先级排序历史记忆的机制仍 largely 隐式。在本工作中，我们重访 HiPPO 框架，目标是使这些机制显式化。我们展示，多项式表示的历史记忆可扩展以支持现代 SSM 的功能，如自适应记忆分配和联想记忆，同时保持在 OP 基上的直接可解释性。我们引入由五种此类扩展构成的统一框架，整体称为“HiPPO 动物园”。每种扩展通过对 HiPPO 框架的显式、可解释修改暴露特定建模能力。 resulting models adapt their memory online and train in streaming settings with efficient updates。我们通过一系列合成序列建模任务展示了这些扩展的行为与建模优势，证明了通常与现代 SSM 相关的功能可通过显式、可解释的多项式记忆结构实现。
引用
@article{arxiv.2602.21340,
title = {HiPPO Zoo: Explicit Memory Mechanisms for Interpretable State Space Models},
author = {Jack Goffinet and Casey Hanks and David E. Carlson},
journal= {arXiv preprint arXiv:2602.21340},
year = {2026}
}
备注
20 pages, 6 figures