AIRE-Prune：用于状态空间模型中状态剪枝的渐近脉冲响应能量
机器学习
2026-02-03 v1 系统与控制
系统与控制
摘要
状态空间模型（SSM）通常牺牲容量、搜索空间或稳定性来抵消大状态维度的内存和计算成本。我们引入了一种结构化的SSM训练后剪枝方法——AIRE-Prune（用于状态剪枝的渐近脉冲响应能量），它通过直接最小化长期输出能量失真来减少每层的状态维度。AIRE-Prune为每个状态分配一个基于闭式渐近脉冲响应能量的分数，即它在无限时间范围（时间）内贡献的总脉冲响应能量，并按层归一化这些分数以实现全局跨层比较和选择。这将模态截断从单个系统扩展到深层堆叠，并将剪枝与渐近响应能量而非最坏情况增益对齐。在多样化的序列基准测试中，AIRE-Prune揭示了SISO和MIMO SSM中的大量冗余，平均剪枝率为60.8%，平均准确率下降0.29%（无需重新训练），同时显著降低了计算量。代码：https://github.com/falcon-arrow/AIRE-Prune。
引用
@article{arxiv.2602.00534,
title = {AIRE-Prune: Asymptotic Impulse-Response Energy for State Pruning in State Space Models},
author = {Apurba Prasad Padhy and Fernando Camacho and Saibal Mukhopadhyay},
journal= {arXiv preprint arXiv:2602.00534},
year = {2026}
}