状态空间模型对长程依赖理解的分析
机器学习
2026-01-21 v1 人工智能
摘要
尽管状态空间模型在长序列基准测试中表现出强大的性能，但大多数研究强调预测准确率而非可解释性。在本工作中，我们首次对在真实世界任务（源代码中的漏洞检测）上训练的对角化状态空间模型 (S4D) 进行了系统的核可解释性研究。通过对 S4D 核的时域和频域分析，我们表明 S4D 的长程建模能力在不同模型架构下存在显著差异，从而影响模型性能。例如，我们表明，根据架构的不同，S4D 核可以表现为低通、带通或高通滤波器。我们分析的见解可以指导未来设计更好的基于 S4D 的模型。
引用
@article{arxiv.2601.13048,
title = {Analysis of Long Range Dependency Understanding in State Space Models},
author = {Srividya Ravikumar and Abhinav Anand and Shweta Verma and Mira Mezini},
journal= {arXiv preprint arXiv:2601.13048},
year = {2026}
}