Mamba-PTQ：循环大语言模型中的离群通道

现代循环层正成为基础模型边缘部署的一条有前景的路径，尤其是在大语言模型的背景下。将整个输入序列压缩到一个有限维表示中，使得循环层能够建模长程依赖关系，同时为每个词元保持恒定的推理成本和固定的内存需求。然而，在资源受限的环境中实际部署大语言模型通常需要进一步的模型压缩，例如量化和剪枝。虽然这些技术在基于注意力的模型中已经相当成熟，但它们对循环层的影响仍未得到充分探索。在这项初步工作中，我们专注于循环大语言模型的训练后量化，并表明 Mamba 模型表现出与基于注意力的大语言模型中观察到的相同的离群通道模式。我们表明，量化状态空间模型困难的原因是由激活离群值引起的，这与在基于 Transformer 的大语言模型中观察到的类似。我们报告了未考虑激活离群值的 Mamba 训练后量化基线结果，并提出了离群值感知量化的初步步骤。