最新突破成果：Quamba-SE：状态空间模型中激活值的软边缘量化器
机器学习
2026-01-15 v1 人工智能
硬件体系结构
摘要
我们提出了 Quamba-SE，一种用于状态空间模型（SSM）激活量化的软边缘量化器。与使用标准 INT8 操作的现有方法不同，Quamba-SE 采用三种自适应尺度：针对小值的高精度、针对正常值的标准尺度，以及针对离群值的低精度。这保留了离群值信息而非硬裁剪，同时保持了其他值的精度。我们在 6 个零样本基准上对 Mamba-130M 进行了评估。结果表明，Quamba-SE 始终优于 Quamba，在单个基准上最高提升 +2.68%，在 6 个数据集的平均准确率上最高提升 +0.83%。
引用
@article{arxiv.2601.09451,
title = {Late Breaking Results: Quamba-SE: Soft-edge Quantizer for Activations in State Space Models},
author = {Yizhi Chen and Ahmed Hemani},
journal= {arXiv preprint arXiv:2601.09451},
year = {2026}
}
备注
Accepted to DATE Late Breaking Results 2026, Verona, Italy