STaMP：用于低精度激活量化的序列转换与混合精度
机器学习
2025-10-31 v1 人工智能
摘要
量化是降低生成式 AI 模型推理延迟、功耗和内存占用的关键方法。然而，当激活量化低于 8 位时，准确率常会急剧下降。最近的研究表明，可逆线性变换（如旋转）可帮助量化，通过重新参数化特征通道和权重。在本文中，我们提出了序列转换与混合精度（Sequence Transformation and Mixed Precision，STaMP）量化，这是一种新颖策略，通过在序列维度上应用线性变换来利用语言和视觉数据中的强局部相关性。通过保持每个中间激活中少数几个标记的高精度，我们可以在较低（平均）激活位宽下维持模型准确率。我们在最新的 LVM 和 LLM 架构上评估了 STaMP，证明它显著改进了低位宽激活量化，并补充了包括最近特征变换在内的既有激活和权重量化方法。
引用
@article{arxiv.2510.26771,
title = {STaMP: Sequence Transformation and Mixed Precision for Low-Precision Activation Quantization},
author = {Marco Federici and Riccardo Del Chiaro and Boris van Breugel and Paul Whatmough and Markus Nagel},
journal= {arXiv preprint arXiv:2510.26771},
year = {2025}
}
备注
10 pages main text, 8 pages supplementary material