面向边缘 AI 的小规模状态空间模型量化
机器学习
2025-06-17 v1 信号处理
摘要
状态空间模型（SSM）因其在高效建模长程依赖方面的能力，近年来在深度学习中受到广泛关注，使其成为边缘 AI 应用的潜在候选模型。本文分析了量化对小规模 SSM 的影响，重点关注在保持任务性能的同时降低内存和计算成本。使用 S4D 架构，我们首先研究了训练后量化（PTQ），并发现状态矩阵 A 和内部状态 x 对量化尤为敏感。此外，我们分析了应用于 S4D 架构参数和激活的不同量化技术的影响。为解决训练后量化（PTQ）后观察到的性能下降，我们应用了量化感知训练（QAT），在 8 位精度下将顺序 MNIST 基准上的性能从 40%（PTQ）显著提升至 96%。我们进一步展示了 QAT 在实现亚 8 位精度方面的潜力，并评估了不同的参数化方案以确保 QAT 稳定性。此外，我们提出了一种异构量化策略，为模型组件分配不同的精度水平，在不牺牲性能的情况下将整体内存占用减少 6 倍。我们的结果为在资源受限环境中部署量化 SSM 提供了可操作的见解。
引用
@article{arxiv.2506.12480,
title = {Quantizing Small-Scale State-Space Models for Edge AI},
author = {Leo Zhao and Tristan Torchet and Melika Payvand and Laura Kriener and Filippo Moro},
journal= {arXiv preprint arXiv:2506.12480},
year = {2025}
}