NoisyQuant：面向视觉 Transformer 的噪声偏置增强训练后激活量化
计算机视觉与模式识别
2023-04-20 v2
摘要
视觉 Transformer 的复杂架构与高训练成本促使了对训练后量化的探索。然而，视觉 Transformer 激活的重尾分布阻碍了以往训练后量化方法的有效性，即便采用先进的量化器设计。本文提出 NoisyQuant，一种与量化器无关的增强方法，用于提升视觉 Transformer 的训练后激活量化性能，而非调优量化器以更好拟合复杂的激活分布。我们有一个令人惊讶的理论发现：对于给定的量化器，在待量化值上加入固定的均匀噪声偏置，可在可证条件下显著减小量化误差。基于该理论洞见，NoisyQuant 首次成功利用加性噪声偏置主动改变重尾激活分布以适配给定量化器。大量实验表明，NoisyQuant 以极小计算开销大幅提升了视觉 Transformer 的训练后量化性能。例如，在线性均匀 6 位激活量化下，NoisyQuant 在 ImageNet 上将 ViT、DeiT 和 Swin Transformer 的 SOTA top-1 精度分别提升多达 1.7%、1.1% 和 0.5%，达到与以往非线性、混合精度量化相当甚至更高的性能。
引用
@article{arxiv.2211.16056,
title = {NoisyQuant: Noisy Bias-Enhanced Post-Training Activation Quantization for Vision Transformers},
author = {Yijiang Liu and Huanrui Yang and Zhen Dong and Kurt Keutzer and Li Du and Shanghang Zhang},
journal= {arXiv preprint arXiv:2211.16056},
year = {2023}
}
备注
Accepted to CVPR2023