QMamba: 针对视觉状态空间模型的后训练量化
计算机视觉与模式识别
2025-01-24 v1
摘要
状态空间模型（SSMs）作为Mamba的关键组件，近年来因其高效的长序列建模能力而在视觉模型领域受到广泛关注。鉴于在资源受限的边缘设备上部署SSMs的计算成本，后训练量化（PTQ）作为一种潜在的高效部署技术。本文提出了QMamba，我们了解的第一款针对视觉SSMs的PTQ框架，基于对SSMs中激活分布的分析。我们揭示了离散参数分布呈长尾偏斜，而隐藏状态序列分布呈高度动态变化。相应地，我们设计了长尾偏斜量化（LtSQ）用于量化离散参数，以及时序分组量化（TGQ）用于量化隐藏状态，从而降低量化误差。大量实验表明，QMamba在多种模型规模和架构的视觉模型上超越了先进的PTQ方法。值得注意的是，在ImageNet分类任务中使用4位激活时，QMamba相较于现有方法提升了21.0%。
引用
@article{arxiv.2501.13624,
title = {QMamba: Post-Training Quantization for Vision State Space Models},
author = {Yinglong Li and Xiaoyu Liu and Jiacheng Li and Ruikang Xu and Yinda Chen and Zhiwei Xiong},
journal= {arXiv preprint arXiv:2501.13624},
year = {2025}
}