SPIQ：无数据逐通道静态输入量化
计算机视觉与模式识别
2022-03-29 v1
摘要
计算昂贵的神经网络在计算机视觉中无处不在，高效推理的解决方案已引起机器学习界越来越多的关注。此类解决方案的例子包括量化，即将处理值（权重和输入）从浮点转换为整数，例如 int8 或 int4。同时，隐私问题的兴起促使人们研究侵入性更小的加速方法，例如预训练模型权重和激活的无数据量化。先前的方法要么利用统计信息以静态方式推导激活的标量范围和缩放因子，要么为每一层的每个输入（也称为激活）动态自适应该范围：后者通常更准确，但推理速度显著更慢。在本文中，我们论证了静态输入量化可通过逐通道输入量化方案达到动态方法的精度水平，该方案能更精细地保留跨通道动态。我们通过针对多个计算机视觉问题（例如 ImageNet 分类、Pascal VOC 目标检测以及 CityScapes 语义分割）的详尽实证评估表明，所提出的方法（称为 SPIQ）在静态级推理速度下达到了可与动态方法媲美的精度，并在每个基准上显著优于最先进的量化方法。
引用
@article{arxiv.2203.14642,
title = {SPIQ: Data-Free Per-Channel Static Input Quantization},
author = {Edouard Yvinec and Arnaud Dapogny and Matthieu Cord and Kevin Bailly},
journal= {arXiv preprint arXiv:2203.14642},
year = {2022}
}