Mamba 状态空间模型高效非结构化剪枝：面向资源受限环境
机器学习
2025-09-30 v2 计算机视觉与模式识别
摘要
状态空间模型 (SSM)，特别是 Mamba 架构，已成为 Transformer 的强大替代方案，用于序列建模，具有线性时间复杂度并在 diverse 任务中表现出竞争力。然而，其大参数计数在资源受限环境的部署中构成了重大挑战。我们提出一种针对 Mamba 模型的新型非结构化剪枝框架，可实现最高 70% 参数减益，同时保留超过 95% 的原始性能。我们的方案整合了三个关键创新：(1) 结合权重幅度和梯度信息的梯度感知幅度剪枝技术，用于识别不关键参数；(2) 逐渐增加稀疏度以维持模型稳定性的迭代剪枝计划；(3) 针对整个模型进行全局剪枝策略，以优化参数分配。通过在 WikiText-103、Long Range Arena 和 ETT 时间序列基准测试上的大量实验，我们展示了在最小性能退化的情况下实现显著的效率提升。我们对剪枝对 Mamba 组件影响的分析揭示了该架构的冗余性和鲁棒性，使其能够在资源受限环境中实现实际部署，同时拓宽了 Mamba 的适用性。
引用
@article{arxiv.2505.08299,
title = {Efficient Unstructured Pruning of Mamba State-Space Models for Resource-Constrained Environments},
author = {Ibne Farabi Shihab and Sanjeda Akter and Anuj Sharma},
journal= {arXiv preprint arXiv:2505.08299},
year = {2025}
}