图信号处理邂逅Mamba2：基于Delta调制的自适应滤波器组
机器学习
2026-03-25 v1 人工智能
摘要
状态空间模型（SSMs）以线性时间递归方式提供了注意力机制的高效替代方案。Mamba2是一种最新出现的基于SSMs的语言模型，采用选择性输入门控和多头结构，实现并行计算并在各类基准测试中表现出色。然而，其多头递归在没有结构化利用或分析的情况下独立运行。本文提出了一种新方法，称为层次自适应滤波器高效SSMs（HADES），这是一种受图信号处理（GSP）启发的框架，将Mamba2重新解释为线图上的自适应滤波器组。我们的层次结构引入了两种滤波器类型：用于全局低通行为的共享滤波器，以及通过对参数{\Delta}进行结构化偏置实现的用于局部高通行为的专家滤波器。HADES在语言建模、常识推理和长上下文检索等多个基准测试中表现出与基线模型（包括Mamba2）相当的性能，而仅使用原参数的58.9%。就此而言，HADES桥接了GSP与神经序列建模，实现了状态空间模型中高效、层次化且可解释的滤波。
引用
@article{arxiv.2603.22333,
title = {Graph Signal Processing Meets Mamba2: Adaptive Filter Bank via Delta Modulation},
author = {Yehjin Shin and Seojin Kim and Noseong Park},
journal= {arXiv preprint arXiv:2603.22333},
year = {2026}
}
备注
The Fourteenth International Conference on Learning Representations (ICLR 2026)