GranQ：基于向量化预缩放实现通道级高效量化的零样本量化感知训练方法
计算机视觉与模式识别
2025-10-16 v6
摘要
零样本量化（Zero-shot Quantization，ZSQ）通过无需原始训练数据的方式实现神经网络压缩，因而在数据受限场景中具有重要应用前景。为弥补数据不足的缺陷，近期的ZSQ方法通常依赖于从全精度模型生成的合成输入，但这些合成输入在低位量化设置下常导致激活失真。为缓解此问题，现有方法通常采用逐通道缩放，但仍因累加过程中的计算开销过大而受限。为突破这一瓶颈，我们提出了GranQ——一种 novel 激活量化框架，引入高效的预缩放策略。不同于传统逐通道方法在累加过程中反复执行缩放操作的做法，GranQ通过完全向量化计算在预缩放步骤中应用缩放因子，从而消除运行时的缩放开销。该设计使GranQ在保持细粒度量化精度的同时，显著降低计算负担，尤其在低位量化场景中效果显著。大量实验在量化感知训练（QAT）设置下表明，GranQ在CIFAR和ImageNet数据集上均优于当前最先进的ZSQ方法。特别地，在CIFAR-100的3位设置下，本方法实现了最高可达5.45%的准确率提升，并在CIFAR-10上甚至超越了全精度基线。
引用
@article{arxiv.2503.18339,
title = {GranQ: Efficient Channel-wise Quantization via Vectorized Pre-Scaling for Zero-Shot QAT},
author = {Inpyo Hong and Youngwan Jo and Hyojeong Lee and Sunghyun Ahn and Kijung Lee and Sanghyun Park},
journal= {arXiv preprint arXiv:2503.18339},
year = {2025}
}