KOSS：卡尔曼最优选择性状态空间用于长期序列建模
机器学习
2025-12-19 v1
摘要
近期的选择性状态空间模型（SSM），如Mamba和Mamba-2，因输入依赖性选择机制在序列建模中表现优异。然而，这些机制缺乏理论依据，无法支持来自潜在状态动力学的上下文感知选择。为此，本文提出KOSS（Kalman-Optimal Selective State Spaces），将选择建模为潜在状态不确定性最小化。源自估计理论，KOSS采用受卡尔曼增益驱动的连续时间潜在更新，动态调制信息传播，基于内容与上下文，实现闭环、上下文感知的选择机制。为确保计算稳定性和近线性规模，KOSS采用全局谱微分进行频域导数估计，结合分段扫描实现硬件高效处理。在选择性复制带干扰项的任务中，KOSS实现超过79%的准确率，而基准方法则低于20%，显示出稳健的上下文感知选择能力。此外，在九个长期预测基准测试中，KOSS将MSE降低2.92--36.23%，在准确性和稳定性方面均优于最先进模型。为评估实际应用性，后续对二次监视雷达（SSR）跟踪案例研究表明，KOSS在离散间隔和噪声条件下均表现稳健，证明其在实际场景中的有效性。最后，补充实验验证了卡尔曼增益的收敛性以及谱微分的频率响应，为所提出的闭环设计提供了理论支持。
引用
@article{arxiv.2512.16723,
title = {KOSS: Kalman-Optimal Selective State Spaces for Long-Term Sequence Modeling},
author = {Lei Wang and Xin Tan and Mingwei Wang and Ying Zhang},
journal= {arXiv preprint arXiv:2512.16723},
year = {2025}
}