QuarterMap：面向视觉状态空间模型的高效事后标记剪枝
计算机视觉与模式识别
2025-07-15 v1 人工智能
摘要
状态空间模型（SSM）通过利用线性递推来降低变换器的二次复杂度。最近，VMamba 作为一种强大的 SSM 基于视觉的背板，却受制于其四向扫描中的空间冗余。我们提出QuarterMap，这是一种事后激活剪枝方法，通过在扫描前删除冗余的空间激活，并通过最近邻上采样来恢复维度。该方法无需重新训练即可提升吞吐量。在ImageNet-1K 上，QuarterMap 对VMamba 可实现最高达11%的加速，仅需小于0.9%的精度下降，并在ADE20K分割任务中获得类似的收益。除了VMamba，我们在MedMamba上验证了QuarterMap，这是一个基于相同四向扫描结构的领域特定模型，其中它在多个医学影像任务中均能保持准确性的同时提升吞吐量。与像ToMe这样的token合并方法相比，QuarterMap为SSM量身定制，避免了昂贵的合并-解合并操作。该方法为在部署时提升效率提供了一个即插即用的工具，而不会影响可迁移性。
引用
@article{arxiv.2507.09514,
title = {QuarterMap: Efficient Post-Training Token Pruning for Visual State Space Models},
author = {Tien-Yu Chi and Hung-Yueh Chiang and Diana Marculescu and Kai-Chiang Wu},
journal= {arXiv preprint arXiv:2507.09514},
year = {2025}
}
备注
Accepted by Efficient Systems for Foundation Models Workshop at the International Conference on Machine Learning (ICML) 2025