克服量化感知训练中的振荡现象
机器学习
2022-06-30 v2
摘要
在使用模拟量化训练神经网络时，我们观察到量化权重会出乎意料地在两个网格点之间振荡。该效应的重要性及其对量化感知训练（QAT）的影响在文献中尚未被充分理解或研究。本文深入探究权重振荡现象，表明其会因推理时批量归一化统计量的错误估计以及训练期间噪声的增加而导致显著的精度下降。这些效应在具有深度可分离层的高效网络（如MobileNets和EfficientNets）的低比特（≤4比特）量化中尤为明显。在我们的分析中，我们研究了几种先前提出的QAT算法，并表明其中大多数无法克服振荡。最后，我们提出两种新颖的QAT算法以克服训练期间的振荡：振荡阻尼与迭代权重冻结。我们证明，我们的算法在高效架构（如MobileNetV2、MobileNetV3和EfficentNet-lite在ImageNet上）的低比特（3和4比特）权重与激活量化中达到了最先进的精度。我们的源代码可在{https://github.com/qualcomm-ai-research/oscillations-qat}获取。
引用
@article{arxiv.2203.11086,
title = {Overcoming Oscillations in Quantization-Aware Training},
author = {Markus Nagel and Marios Fournarakis and Yelysei Bondarenko and Tijmen Blankevoort},
journal= {arXiv preprint arXiv:2203.11086},
year = {2022}
}
备注
Published as oral paper at ICML 2022