利用部分刮刮乐彩票票进行量化感知训练
计算机视觉与模式识别
2023-07-27 v4
摘要
量化感知训练（QAT）因能良好保持量化网络的性能而广受青睐。在QAT中，当前的经验是在整个训练过程中更新所有量化权重。本文基于我们观察到的有趣现象对这一经验提出挑战。具体而言，大部分量化权重在少数训练轮次后便达到最优量化电平，我们称之为部分刮刮乐彩票票。这一简单而有价值的观察自然启发我们在剩余训练期将这些权重的梯度计算置零，以避免无意义的更新。为有效寻找该彩票票，我们提出一种启发式方法，称为彩票刮刮器（LTS），一旦全精度权重与其量化电平间的距离小于可控阈值便冻结该权重。令人惊讶的是，所提LTS通常消除50%–70%的权重更新和25%–35%的反向传播FLOPs，同时仍取得与对比基线相当甚至更优的性能。例如，相较基线，LTS将2-bit MobileNetV2提升5.05%，并消除46%的权重更新和23%的反向传播FLOPs。代码见 url{https://github.com/zysxmu/LTS}。
引用
@article{arxiv.2211.08544,
title = {Exploiting the Partly Scratch-off Lottery Ticket for Quantization-Aware Training},
author = {Yunshan Zhong and Gongrui Nan and Yuxin Zhang and Fei Chao and Rongrong Ji},
journal= {arXiv preprint arXiv:2211.08544},
year = {2023}
}