振荡使神经网络对量化具有鲁棒性
机器学习
2025-12-10 v2
摘要
我们挑战了在量化感知训练（QAT）中观察到的权重振荡仅仅是负面效应的普遍观点，并论证它们实际上是QAT的重要组成部分。我们在一个单变量线性模型中展示了QAT导致了一个额外的损失项，该项通过将权重推离其最近的量化级别而引起振荡。基于分析得出的机制，我们随后推导出一个正则化器，用于在训练期间诱导神经网络权重的振荡。我们在CIFAR-10和Tiny ImageNet数据集上对ResNet-18和Tiny Vision Transformer的实证结果表明，在一系列量化级别上，使用振荡进行训练后再进行训练后量化（PTQ），足以在大多数情况下恢复QAT的性能。通过这项工作，我们为QAT的动力学提供了更深入的见解，并为解释振荡在QAT中的作用贡献了一个新颖的见解，而迄今为止，振荡被认为对量化主要具有负面影响。
引用
@article{arxiv.2502.00490,
title = {Oscillations Make Neural Networks Robust to Quantization},
author = {Jonathan Wenshøj and Bob Pepin and Raghavendra Selvan},
journal= {arXiv preprint arXiv:2502.00490},
year = {2025}
}
备注
Accepted to Transactions on Machine Learning Research (TMLR, 2025). Published version https://openreview.net/forum?id=bPwcJ0nkDC